citespace数据处理：用python对Ref文档进行去重

最新推荐文章于 2023-03-08 22:38:07 发布

Mr.Bean-Pig

最新推荐文章于 2023-03-08 22:38:07 发布

阅读量1.9k

点赞数

分类专栏： Python 文章标签： python 机器学习数据分析人工智能列表

本文链接：https://blog.csdn.net/z714405489/article/details/112708628

版权

本文介绍如何使用Python对Ref文档进行去重处理。通过将txt文档转换为Excel，筛选重复项，再整理回txt格式。文章提供了一段代码示例，读者需根据自己的文件路径调整代码。

摘要由CSDN通过智能技术生成

首先将txt文档提取到Excel表格中筛选出重复项，并且整理到txt中：
在这里插入图片描述
需要去重的目标txt也准备好：

在这里插入图片描述

接下来运行代码，注意代码中的路径需要自己按实际情况修改：

#coding:utf-8
#__author__ ='pig'

# 实现去重功能

import re
# 需要去重的标题列表
title_need_delete = []

f0 = open('D:\Desktop\数据\\need_delete.txt',encoding='utf-8')
for line in f0.readlines():
    title_need_delete.append(line)
#print(title_need_delete)
# 一键多值字典0
dict={
   }

# 标题列表
title_list = []

f1=open('D:\Desktop\数据\\sum.txt',encoding='utf-8')
data=f1