python pandas批量合并多个excel,以及多个sheet
由于这后面将要认真对待另一件事情(YJ),估计2021年就没有时间再来摸索python了,后面2022年再看有没有时间来学习,也算是给自己的一个提醒和小结吧
工作中常常遇到要合并多个excel,有的excel中还有多个sheet,如果是两三个表格还可以手工处理,如果是50个、100个、1000个表格时就比较麻烦了,以下是自己的一点经验,留个痕迹:
有3个表格如下:注意:每个sheet的样式要相同才能实现表格合并
每个表格样本如下:
得出结果:
代码如下:
import os
import pandas as pd
import numpy as np
dfx = pd.DataFrame() #创建一个DataFrame数据结构,它类似excel是一种二维表;
numb = 0
dir = "C:\\merge_sheet" #指定文件夹的路径
for root, dirs, files in os.walk(dir): #得到root路径和文件名,返回的是一个三元组(root,dirs,files);
#如果os.walk中topdown参数为True,walk则遍历top文件夹以及top文件夹中每一个子目录;
for file in files:
files = os.path.join(root,file) #用join得到一个完整的文件路径
df = pd.read_excel(files,sheet_name=None)
for sheet_names in df.keys(): #获取每一个sheet名
# df_demo = pd.read_excel(files,sheet_name=sheet_names)
df_demo = df[sheet_names] #获取每一个sheet中的数据内容
numb += len(df_demo)
print(file,sheet_names,'本次录入',len(df_demo),',累计总录入',numb)
df_demo['note'] = file + '_' + sheet_names #标注数据是来自哪一个EXCEL的哪一个Sheet名;
dfx = pd.concat([dfx,df_demo]) #将dfx表与当前的df_demo表进行连接;
outfile = "C:\\merge_sheet\\result-ok.csv" #指定一个存放路径
dfx.to_csv(outfile,index=None,encoding='gbk')
执行过程中可以看到相应的信息,进行核实:
表格1.xlsx HH 本次录入 9 ,累计总录入 9
表格1.xlsx PP 本次录入 29 ,累计总录入 38
表格2.xlsx EE 本次录入 70 ,累计总录入 108
表格2.xlsx TT 本次录入 19 ,累计总录入 127
表格3.xlsx MM 本次录入 50 ,累计总录入 177
表格3.xlsx DD 本次录入 5 ,累计总录入 182
表格3.xlsx CC 本次录入 130 ,累计总录入 312