合并csv文件并去重

目的：合并csv文件并对数据去重

工具：jupyter

代码

#合并csv文件并去重
import pandas as pd
import glob

outputfile=‘C:\Users\dell\Desktop\hebing.csv’
#设置保存文件的路径和文件名
csv_list = glob.glob(‘C:\Users\dell\Desktop\月销\*.csv’)
#设置读取文件的路径
print(u’共发现%s个CSV文件’% len(csv_list))
print(u’正在处理…’)

#对数据进行合并
for inputfile in csv_list:
f=open(inputfile,‘rb’)
data=pd.read_csv(f,encoding=“utf-8”)
data.to_csv(outputfile,mode=‘a’,index=False,header=1)
print(‘完成合并’)

#对数据进行去重
df = pd.read_csv(outputfile,encoding=“utf-8”)
#读取合并的表格
datalist = df.drop_duplicates()
#对合并的表格进行删除重复项
datalist.to_csv(outputfile,mode=‘a’,index=False,header=1)
#对去重后的数据进行保存
print(‘完成去重’)