import os
import pandas as pd
f_path=r'I:\工具\无聊编程玩\文件录入合并\data'#外部文件夹地址
f_filelist = os.listdir(f_path)
f_file_n=[]
for f_filename in f_filelist:
f_filepath = os.path.join(f_path, f_filename)#os包可以提取文件名称,将文件转化为矩阵集
f_file_n += [f_filepath]#直接提取矩阵集为列表
print("此路径内含有文件夹数量:",len(f_file_n))
print("--完成外部导入,开始批量遍历文件--")
for i in range(len(f_file_n)):
outputpath=r'{}\group_{}.csv'.format(f_file_n[i],i)#自定义合并表的输出地址和文件名
path=r'{}'.format(f_file_n[i])#文件所在地址遍历
filelist = os.listdir(path)
file_n=[]
for filename in filelist:
filepath = os.path.join(path, filename)
file_n += [filepath]#直接提取矩阵集为列表
print("此文件夹内含有文件数量:",len(file_n),"遍历文件夹:",i)
file_r1=r'{}'.format(file_n[0])
file_1=pd.read_csv(file_r1)#头文件读取
print("头部文件数据量:",len(file_1))
count_=[]
for i in range(1,len(file_n)):#后面就是利用pandas的功能遍历合并
file_=r'{}'.format(file_n[i])
file_e=pd.read_csv(file_)
count_+=[len(file_e)]
file_1=file_1.append(file_e)
print("遍历文件计数器:",count_)
print("最终文件数据量:",len(file_1))
print("------------------------------------")
file_1.to_csv(outputpath,sep=',',index=False,header=True)#合并结果输出
print("complete")
最终在批量文件夹中自动生成group_0,~1,~2的合并数据,即如data>0001文件夹中生成的就是Mddyq12和TMddyqALL的数据。理论上data内可以包含任意数量的子目录,子目录中可以包含任意数量的可合并数据。