python 实现两个文本文件内容去重

实现两个文本内容去重,输出两个文本不重复的结果

两个测试文本内容如下

1.txt中内容为 1 2 3 4 5 6 7 8
2.txt中内容为 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 

分别读取两个文本的内容

读取1.txt的内容,具体实现如下:

str1 = []
file_1 = open("1.txt","r",encoding="utf-8")
for line in file_1.readlines():
    str1.append(line.replace("\n",""))

读取2.txt的内容,具体实现如下:

'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:778463939
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
str2 = []
file_2 = open("2.txt", "r", encoding="utf-8")
for line in file_2.readlines():
    str2.append(line.replace("\n", ""))   

取出重复的内容

创建一个空列表,将两个文件中重复的内容取出来,具体实现如下:

str_dump = []
for line in str1:
    if line in str2:
        str_dump.append(line)    #将两个文件重复的内容取出来

去掉重复内容

将两个文本的内容合并,去除重复的内容

'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:778463939
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
str_all = set(str1 + str2)      #将两个文件放到集合里,过滤掉重复内容
for i in str_dump:              
    if i in str_all:
        str_all.remove(i)       #去掉重复的文件

完整代码如下

def file_qc():
    str1 = []
    file_1 = open("1.txt","r",encoding="utf-8")
    for line in file_1.readlines():
        str1.append(line.replace("\n",""))

    str2 = []
    file_2 = open("2.txt", "r", encoding="utf-8")
    for line in file_2.readlines():
        str2.append(line.replace("\n", ""))

    str_dump = []
    for line in str1:
        if line in str2:
            str_dump.append(line)    #将两个文件重复的内容取出来

    str_all = set(str1 + str2)      #将两个文件放到集合里,过滤掉重复内容

    for i in str_dump:              
        if i in str_all:
            str_all.remove(i)		#去掉重复的文件

    for str in str_all:             #去重后的结果写入文件
        print(str)
        with open("qc_V.txt","a+",encoding="utf-8") as f:
            f.write(str + "\n")

if __name__=="__main__":
    file_qc()

输出结果为

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值