Pyhton实现文本文档，单文件txt去重和双文件对比去重，G级以上的文件都没问题！

最新推荐文章于 2024-06-24 10:57:24 发布

my20080617

最新推荐文章于 2024-06-24 10:57:24 发布

阅读量724

点赞数

分类专栏： Python代码文章标签：去重 pyhton去重

本文链接：https://blog.csdn.net/my20080617/article/details/92025242

版权

利用Python编写的程序可以处理G级别以上的txt文件进行单文件重复行去除，以及进行双文件对比去重操作。单文件5GB去重耗时不到1分钟，双文件对比去重速度也非常快。

摘要由CSDN通过智能技术生成

Python 写的 txt的单文件去重。和双文件对比去重，文件数据在G级别以上都没问题。

经测试，单文件去重5GB的txt仅需要不到1分钟。双文件对比去重时间没有测试。也很快！

单文件去重代码

# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "E:/1.txt"  #old
writeDir = "E:/2.txt" #new
# txtDir = "/home/Administrator/Desktop/１"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
  if line not in lines_seen:
    a+=1
    outfile.write(line)
    lines_seen.add(line)
    print(a)
    print('\n')
outfile.close()
print("success")

多文件对比去重

#!/usr/bin/env python 
# -*- coding:utf-8 -*-

def file_qc():
    str1 = []
    file_1 = open("1.txt","r",encoding="utf-8")
    for line in file_1.readlines():
        str1.append(line.replace("\n",""))

    str2 = []
    file_2 = open("2.txt", "