PYTHON简单代码去除TXT文档重复行内容去重复

TelNet2010

于 2022-02-03 09:10:05 发布

阅读量9.2k

点赞数 10

文章标签： Python TXT处理去重文件操作编程

本文链接：https://blog.csdn.net/TelNet2010/article/details/122774058

版权

这段博客介绍了如何使用Python读取TXT文档并去除其中的重复行，将处理后的结果保存到新的TXT文件中。通过比较源文件和目标文件内容，只写入未在目标文件出现过的行，实现了去重功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

PYTHON简单代码去除TXT文档重复行内容去重复

fi = open('test.txt', 'r') # 打开需要处理的test.txt。
txt = fi.readlines()
with open('test_OK.txt', 'a') as f:#创建处理去重复后的结果保存文档，防止找不到文件出错
    f.close()
for w in txt:
    fi2 = open('test_OK.txt', 'r')
    txt2 = fi2.readlines()
    with open('test_OK.txt', 'a') as f:  # 打开目标文件开始写入
        if w not in txt2:	#如果从源文档中读取的内容不在目标文档中则写入，否则跳过，实现去除重复功能！
            f.write(w)  
        else:
            print("已去除重复-->"+w)
        f.close()
fi.close()