pandas读取多个文件并合并到一起

pandas读取多个文件并合并到一起

先把文件位置放到一起，读取文件，再concat。

subdir=‘store’

file_names = []#存文件名
file_names.append(test1.csv')#继续添加文件名

csv_paths = []#存文件位置
for file_name in file_names:
    csv_path = join( '..','csv', subdir, file_name)#文件位置
    csv_paths.append(csv_path)
    break

df_csvs = []
for csv_path in csv_paths:
    df_tmp = pd.read_csv('%s' % csv_path, low_memory=False)
    df_csvs.append(df_tmp)
    
df_total = pd.concat(df_csvs)#合并成一个dataframe

 

 

#小技巧 非必须

#如列名为a.uid想改为uid 用以下方法操作

df_total.columns = [s[2:] for s in df_total.columns]
df_total.shape