速度优化——python的pandas批量读取CSV、Excel等文件

速度优化——python的pandas批量读取CSV、Excel等文件

有一堆命名、格式、内容样式都一样的文件，逐个读取过于麻烦，那么可以选择批量读取（本质上是多线程的思想）

import pandas as pd
import numpy as np
import glob,os

path=r'D:/data'        #批量表格所在文件路径
file=glob.glob(os.path.join(path, "HIST_DMIND_MERGE_201809**.csv"))      #每一个表格相同名称部分
print(file)
dl= []
for f in file:
dl.append(pd.read_csv(f,index_col=None,encoding='ANSI'))     #读取每个表格
df=pd.concat(dl)     #合并