Python循环遍历读取多个csv文件

最新推荐文章于 2024-09-28 17:00:00 发布

兮知

最新推荐文章于 2024-09-28 17:00:00 发布

阅读量5.5k

点赞数 6

文章标签： python 开发语言 pandas

原文链接：https://ask.csdn.net/questions/7475909

版权

这段代码展示了如何利用Python的os和pandas库来遍历指定目录下的所有CSV文件，并使用正则表达式筛选出.csv文件进行读取。通过on_bad_lines='skip'参数，可以跳过读取过程中遇到的错误行，确保数据处理的稳定性。

摘要由CSDN通过智能技术生成

Python循环遍历读取多个csv文件

# os模块提供了非常丰富的方法用来处理文件和目录
# re模块使python语言拥有全部的正则表达式功能
import os
import pandas as pd
import re
path = r"./data/"  # 读取csv文件目录路径
# listdir()--返回path指定 的 文件夹中包含的文件或者文件夹名字 的 列表
FileNames = os.listdir(path)# 因此Filename是一个列表
for fn in FileNames:
    # re.search(pattern, string, flags=0) 扫描整个字符串并返回第一个成功的匹配
    # pattern：匹配的正则表达式
    # string：要匹配的字符串
    # flags：表达式，用于控制正则表达式的匹配方式
    if re.search(r'\.csv$', fn):
        fullfilename = os.path.join(path, fn)
        df = pd.read_csv(fullfilename,encoding='utf-8',on_bad_lines='skip')
        print(fn)  # 文件名
        print(df)  # 数据