本文介绍了如何使用Python实现txt文件的去重功能，通过示例代码展示了如何读取旧文件，过滤掉重复行，并将结果写入新文件。此外，还提供了在线去重工具的链接供参考。
本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考，具体如下：
# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "/Users/Administrator/Desktop/old.txt" #old
writeDir = "/Users/Administrator/Desktop/new.txt" #new
# txtDir = "/home/Administrator/Desktop/１"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
if line not in lines_seen:
a+=1
outfile.write(line)
lines_seen.add(line)
print(a)
print('\n')
outfile.close()
print("success")
其中old.tx如下：
www.jb51.net
www.baidu.com
www.sina.com.cn
www.jb51.net
www.google.com
www.sohu.com
www.jb51.net
www.163.com
运行
最低0.47元/天 解锁文章
170
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
