本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考,具体如下:
# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "/Users/Administrator/Desktop/old.txt" #old
writeDir = "/Users/Administrator/Desktop/new.txt" #new
# txtDir = "/home/Administrator/Desktop/1"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
if line not in lines_seen:
a+=1
outfile.write(line)
lines_seen.add(line)
print(a)
print('n')
outfile.close()
print("success")
其中old.tx如下:www.jb51.net
www.baidu.com
www.sina.com.cn
www.jb51.net
www.google.com
www.sohu.com
www.jb51.net
www.163.com
运行后new.txt内容如下:www.jb51.net
www.baidu.com
www.sina.com.cn
www.google.com
www.sohu.com
www.163.com
PS:这里再为大家提供几款相关工具供大家参考使用:
在线去除重复项工具:http://tools.jb51.net/code/quchong
在线文本去重复工具:http://tools.jb51.net/aideddesign/txt_quchong
更多关于Python相关内容感兴趣的读者可查看本站专题:《Python文件与目录操作技巧汇总》、《Python文本文件操作技巧汇总》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》
希望本文所述对大家Python程序设计有所帮助。
您可能感兴趣的文章:Python统计文件中去重后uuid个数的方法python批量查询、汉字去重处理CSV文件Python实现对文件进行单词划分并去重排序操作示例对python读写文件去重、RE、set的使用详解python 高效去重复 支持GB级别大文件的示例代码Python过滤txt文件内重复内容的方法python去除文件中重复的行实例python删除本地夹里重复文件的方法Python3 实现随机生成一组不重复数并按行写入文件Python实现的删除重复文件或图片功能示例【去重】