一个基于os库和pandas的万能数据批量合并脚本

​
import os
import pandas as pd
f_path=r'I:\工具\无聊编程玩\文件录入合并\data'#外部文件夹地址
f_filelist = os.listdir(f_path)
f_file_n=[]
for f_filename in f_filelist:
    f_filepath = os.path.join(f_path, f_filename)#os包可以提取文件名称，将文件转化为矩阵集
    f_file_n += [f_filepath]#直接提取矩阵集为列表
print("此路径内含有文件夹数量：",len(f_file_n))
print("--完成外部导入,开始批量遍历文件--")
for i in range(len(f_file_n)):
    outputpath=r'{}\group_{}.csv'.format(f_file_n[i],i)#自定义合并表的输出地址和文件名
    path=r'{}'.format(f_file_n[i])#文件所在地址遍历
    filelist = os.listdir(path)
    file_n=[]
    for filename in filelist:
        filepath = os.path.join(path, filename)
        file_n += [filepath]#直接提取矩阵集为列表
    print("此文件夹内含有文件数量：",len(file_n),"遍历文件夹:",i)
    file_r1=r'{}'.format(file_n[0])
    file_1=pd.read_csv(file_r1)#头文件读取
    print("头部文件数据量:",len(file_1))
    count_=[]
    for i in range(1,len(file_n)):#后面就是利用pandas的功能遍历合并
        file_=r'{}'.format(file_n[i])
        file_e=pd.read_csv(file_)
        count_+=[len(file_e)]
        file_1=file_1.append(file_e)
    print("遍历文件计数器：",count_)
    print("最终文件数据量：",len(file_1))
    print("------------------------------------")
    file_1.to_csv(outputpath,sep=',',index=False,header=True)#合并结果输出
print("complete")


​

 

 

 

最终在批量文件夹中自动生成group_0,~1,~2的合并数据，即如data>0001文件夹中生成的就是Mddyq12和TMddyqALL的数据。理论上data内可以包含任意数量的子目录，子目录中可以包含任意数量的可合并数据。