pandas数据读取与清洗视频05-批量读取excel文件并合并

本系列课程适用人群:

  1. python零基础数据分析的朋友;
  2. 在校学生;
  3. 职场中经常要处理各种数据表格,或大量数据(十万级以上)的朋友;
  4. 喜欢图表可视化的朋友;

系列视频目前可在B站观看,会定期更新,欢迎大家吐槽!

本节概要:python提升办公效率重要技能之一

视频地址:python批量读取数据

本节代码:

# 导入工具包并简写为pd
import pandas as pd
# 导入os工具包
import os
# 设置读取文件的默认路径
os.chdir('D:/python/课件/data/数据合并/')


# =============================================================================
# 批量读取数据
# =============================================================================

# 获取文件夹相关信息,os.walk()方法返回3个结果,其中files最终要。root, dirs, files只是自定义的变量名称,可写成别的名
for root, dirs, files in os.walk('.'):
    print(files)  
 
# 定义一个空的dataframe,读取的每个表中的数据都添加到此变量中
data = pd.DataFrame()  

# 遍历所有文件
for i in files:  # 依次读取files文件中的元素
    # 读取第i个文件,"."为上面设置的默认路径,i为文件名称。组合在一起正好为文件路径
    datai = pd.read_csv('./' + i)   
    # 计算文件行数
    datai_len = len(datai)
    # 读取的文件添加到data变量中
    data = data.append(datai)   # 添加到总的数据中
    # print中格式化写法。%i表示此处为一整数,整数的值为引号外面%后面的变量,按顺序获取。其他写法 %s:字符串  %f:小数
    print('文件%i列, 读取%i行数据,名称:%s'%(len(datai.columns),datai_len,i)) 
    
# =============================================================================
# # 保存为excel到电脑
# =============================================================================
data.to_excel('D:/python/课件/data/合并后的数据.xlsx')
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

python技巧(数据分析及可视化)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值