使用python 3.5,在pycharm里面运行成功,代码如下
# coding=utf-8
import glob
import pandas as pd
def mergeCSV():
byte = b'\r\n' #换行符
csv_list = glob.glob('D:\\360极速浏览器下载\\0-关键词\\成交关键词表\\*.csv') #把同文件夹下的csv文件放在csv_list中
print(u'共发现%s个CSV文件'% len(csv_list))
print(u'正在处理............')
for i in csv_list:
fr = open(i,'rb').read() #把每一个CSV文件读入内存来
with open('D:\\360极速浏览器下载\\0-关键词\\成交关键词表\\result.csv','ab') as f:
f.write(fr) #上下文管理器写进去
file = open('D:\\360极速浏览器下载\\0-关键词\\成交关键词表\\result.csv','ab')
file.write(byte) #追加写入换行符
print(u'合并完毕!')
def removeDuplicates(file):
df = pd.read_csv(file, header=0)
datalist = df.drop_duplicates()
datalist.to_csv(file)
if __name__ == '__main__':
mergeCSV()
removeDuplicates("D:\\360极速浏览器下载\\0-关键词\\成交关键词表\\result.csv")