使用joblib并行处理,快速读入几千个csv文件,合并为单一DataFrame
问题
3700多个结构相同的csv文件,通过Python代码读入,合并为单一的DataFrame,再进行后续处理
效率低下的串行读入
初始的方法是把3700多个文件,创建一个文件列表,然后遍历列表,读入,并进行合并:
for file in file_list:
filename = os.path.join(file_path, file)
file_split = os.path.splitext(file)
df_tmp = pd.read_csv(filename, names=columns, encoding