前段时间爬取了京东超市的全部商品品牌;拉去下来以后发现有很多的重复的内容,打算对这些内容进行去重。。
这是对excel的合并操作
import pandas as pd
import os
rootpath = os.getcwd()
abspath = os.path.dirname(rootpath)
# 桌面创建一个excel的文件夹,把要合并的文件放在excel里面
# 这个py文件的目录是desktop/demo/thisfile.py
excel_dir = abspath+'\excel'
os.chdir(excel_dir)
li = []
for i in os.listdir(excel_dir):
li.append(pd.read_excel(i))
print('已合并'+i)
# 合并完成后的excel,是放在excel文件夹下的
writer = pd.ExcelWriter('test.xlsx')
pd.concat(li).to_excel(writer,'Sheet1',index=False)
writer.save()
print('合并完成')
合并完成以后,对excel进行去重
import pandas as pd
frame = pd.read_excel('test.xlsx')
data = pd.DataFrame(frame)
data.drop_duplicates(['品牌'], keep='', inplace=True)
# drop_duplicates用法:subset=‘需要去重复的列名’,keep=‘遇到重复的时保留第一个还是保留最后一个’,inplace=‘去除重复项,还是保留重复项的副本’
data.to_excel('out.xlsx')
print('合并完成')