首先将txt文档提取到Excel表格中筛选出重复项,并且整理到txt中:
需要去重的目标txt也准备好:
接下来运行代码,注意代码中的路径需要自己按实际情况修改:
#coding:utf-8
#__author__ ='pig'
# 实现去重功能
import re
# 需要去重的标题列表
title_need_delete = []
f0 = open('D:\Desktop\数据\\need_delete.txt',encoding='utf-8')
for line in f0.readlines():
title_need_delete.append(line)
#print(title_need_delete)
# 一键多值字典0
dict={
}
# 标题列表
title_list = []
f1=open('D:\Desktop\数据\\sum.txt',encoding='utf-8')
data=f1