Pyhton实现文本文档,单文件txt去重和双文件对比去重,G级以上的文件都没问题!
Python 写的 txt的单文件去重。 和 双文件对比去重,文件数据在G级别以上都没问题。
经测试,单文件去重5GB的txt仅需要不到1分钟。 双文件对比去重时间没有测试。也很快!
单文件去重代码
# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "E:/1.txt" #old
writeDir = "E:/2.txt"...
原创
2019-06-15 00:37:25 ·
707 阅读 ·
0 评论