python pandas批量合并多个excel,以及多个sheet

python pandas批量合并多个excel,以及多个sheet
由于这后面将要认真对待另一件事情(YJ),估计2021年就没有时间再来摸索python了,后面2022年再看有没有时间来学习,也算是给自己的一个提醒和小结吧

工作中常常遇到要合并多个excel,有的excel中还有多个sheet,如果是两三个表格还可以手工处理,如果是50个、100个、1000个表格时就比较麻烦了,以下是自己的一点经验,留个痕迹:
有3个表格如下:注意:每个sheet的样式要相同才能实现表格合并
在这里插入图片描述
每个表格样本如下:
在这里插入图片描述
得出结果:
在这里插入图片描述
代码如下:

import os
import pandas as pd
import numpy as np

dfx = pd.DataFrame()   #创建一个DataFrame数据结构,它类似excel是一种二维表;
numb = 0
dir = "C:\\merge_sheet"   #指定文件夹的路径

for root, dirs, files in os.walk(dir):  #得到root路径和文件名,返回的是一个三元组(root,dirs,files);
    #如果os.walk中topdown参数为True,walk则遍历top文件夹以及top文件夹中每一个子目录;
    for file in files:
        files = os.path.join(root,file)   #用join得到一个完整的文件路径
        df = pd.read_excel(files,sheet_name=None)
        for sheet_names in df.keys():   #获取每一个sheet名
            # df_demo = pd.read_excel(files,sheet_name=sheet_names)
            df_demo = df[sheet_names]   #获取每一个sheet中的数据内容
            numb += len(df_demo)
            print(file,sheet_names,'本次录入',len(df_demo),',累计总录入',numb)
            df_demo['note'] = file + '_' + sheet_names   #标注数据是来自哪一个EXCEL的哪一个Sheet名;
            dfx = pd.concat([dfx,df_demo])   #将dfx表与当前的df_demo表进行连接;

outfile = "C:\\merge_sheet\\result-ok.csv"  #指定一个存放路径
dfx.to_csv(outfile,index=None,encoding='gbk')

执行过程中可以看到相应的信息,进行核实:

表格1.xlsx HH 本次录入 9 ,累计总录入 9
表格1.xlsx PP 本次录入 29 ,累计总录入 38
表格2.xlsx EE 本次录入 70 ,累计总录入 108
表格2.xlsx TT 本次录入 19 ,累计总录入 127
表格3.xlsx MM 本次录入 50 ,累计总录入 177
表格3.xlsx DD 本次录入 5 ,累计总录入 182
表格3.xlsx CC 本次录入 130 ,累计总录入 312
  • 3
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值