python大文件去重_python3 大文件去重

一、生成待去重数据

每行是固定位数的数字串

import os

from random import randint

#-- from u_工具 import *

print("———— 开始 ————")

#-- 打点()

# 用来配置的变量

位数 = 13

行数 = 500 * 10000

输出目录 = "./a_输入"

输出文件 = f"{输出目录}/随机数.txt"

# 预处理

_00 = "".join(["0" for i in range(位数 - 1)])

_100 = "1" + _00

最小值 = int(_100)

_1000 = _100 + "0"

最大值 = int(_1000)

if not os.path.exists(输出目录):

os.makedirs(输出目录)

#-- 输出文件 = 文件名防重_追加数字(输出文件)

# 实际处理

with open(输出文件,"a") as f:

for i in range(行数):

f.write(f"{randint(最小值, 最大值)}\n")

百分比 = (i+1) / 行数 * 100

if 百分比 == int(百分比):

print(f"已完成{int(百分比)}%")

#-- 打点()

#-- print(f&#