【Python】get all the files under the specific directory

需求:需要对一系列的csv文件进行合并
方法:将文件都放在一个文件夹下,然后读取该文件夹下的所有文件,批量处理

import os
import pandas as pd
# get the current absolute path
os.getcwd()

# change the path to the directory of files need to edit
path = 'c:\\Users\\username\\filepath'
os.chdir(path)

# get all the files under current directory
filelist = os.listdir('path')
type(filelist)

# combine all the csv files
total_list = []
for i in range(len(filelist)):
	print(filelist[i])
	df_temp = pd.read_csv(filelist[i])
	total_list.append(df_temp)
df_all = pd.concat(total_list)

# reset the index after combining
# drop duplicate rows
df_all.reset_index(drop=True, inplace=True)
df_all.drop_duplicates(keep=False, inplace=True)
df_all.info()

# save DataFrame to csv file
df_all.to_csv('../data/xxx.csv', encoding="utf-8-sig", index=False)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值