python 实现两个文本文件内容去重

1.txt中内容为 1 2 3 4 5 6 7 8

2.txt中内容为 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

分别读取两个文本的内容

读取1.txt的内容,具体实现如下：

str1 = []

file_1 = open(“1.txt”,“r”,encoding=“utf-8”)

for line in file_1.readlines():

str1.append(line.replace(“\n”,“”))

读取2.txt的内容,具体实现如下：

‘’’

遇到问题没人解答？小编创建了一个Python学习交流QQ群：778463939

寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！

‘’’

str2 = []

file_2 = open(“2.txt”, “r”, encoding=“utf-8”)

for line in file_2.readlines():

str2.append(line.replace(“\n”, “”))

取出重复的内容

创建一个空列表，将两个文件中重复的内容取出来，具体实现如下：

str_dump = []

for line in str1:

if line in str2:

str_dump.append(line) #将两个文件重复的内容取出来

去掉重复内容

将两个文本的内容合并，去除重复的内容

‘’’

遇到问题没人解答？小编创建了一个Python学习交流QQ群：778463939

寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！

‘’’

str_all = set(str1 + str2) #将两个文件放到集合里，过滤掉重复内容

for i in str_dump:

if i in str_all:

str_all.remove(i) #去掉重复的文件

完整代码如下

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）

的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）