python 实现两个文本文件内容去重(4)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

分别读取两个文本的内容

读取1.txt的内容,具体实现如下：

str1 = []

file_1 = open(“1.txt”,“r”,encoding=“utf-8”)

for line in file_1.readlines():

str1.append(line.replace(“\n”,“”))

读取2.txt的内容,具体实现如下：

‘’’

遇到问题没人解答？小编创建了一个Python学习交流QQ群：778463939

寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！

‘’’

str2 = []

file_2 = open(“2.txt”, “r”, encoding=“utf-8”)

for line in file_2.readlines():

str2.append(line.replace(“\n”, “”))

取出重复的内容

创建一个空列表，将两个文件中重复的内容取出来，具体实现如下：

str_dump = []

for line in str1:

if line in str2:

str_dump.append(line) #将两个文件重复的内容取出来

去掉重复内容

将两个文本的内容合并，去除重复的内容

‘’’

遇到问题没人解答？小编创建了一个Python学习交流QQ群：778463939

寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！

‘’’

str_all = set(str1 + str2) #将两个文件放到集合里，过滤掉重复内容

for i in str_dump:

if i in str_all:

str_all.remove(i) #去掉重复的文件

完整代码如下

def file_qc():

str1 = []

file_1 = open(“1.txt”,“r”,encoding=“utf-8”)

for line in file_1.readlines():

str1.append(line.replace(“\n”,“”))

str2 = []

file_2 = open(“2.txt”, “r”, encoding=“utf-8”)

for line in file_2.readlines():

str2.append(line.replace(“\n”, “”))

str_dump = []

for line in str1:

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！