本系列课程适用人群:
- python零基础数据分析的朋友;
- 在校学生;
- 职场中经常要处理各种数据表格,或大量数据(十万级以上)的朋友;
- 喜欢图表可视化的朋友;
系列视频目前可在B站观看,会定期更新,欢迎大家吐槽!
本节概要:python提升办公效率重要技能之一
视频地址:python批量读取数据
本节代码:
# 导入工具包并简写为pd
import pandas as pd
# 导入os工具包
import os
# 设置读取文件的默认路径
os.chdir('D:/python/课件/data/数据合并/')
# =============================================================================
# 批量读取数据
# =============================================================================
# 获取文件夹相关信息,os.walk()方法返回3个结果,其中files最终要。root, dirs, files只是自定义的变量名称,可写成别的名
for root, dirs, files in os.walk('.'):
print(files)
# 定义一个空的dataframe,读取的每个表中的数据都添加到此变量中
data = pd.DataFrame()
# 遍历所有文件
for i in files: # 依次读取files文件中的元素
# 读取第i个文件,"."为上面设置的默认路径,i为文件名称。组合在一起正好为文件路径
datai = pd.read_csv('./' + i)
# 计算文件行数
datai_len = len(datai)
# 读取的文件添加到data变量中
data = data.append(datai) # 添加到总的数据中
# print中格式化写法。%i表示此处为一整数,整数的值为引号外面%后面的变量,按顺序获取。其他写法 %s:字符串 %f:小数
print('文件%i列, 读取%i行数据,名称:%s'%(len(datai.columns),datai_len,i))
# =============================================================================
# # 保存为excel到电脑
# =============================================================================
data.to_excel('D:/python/课件/data/合并后的数据.xlsx')