python对大量数据去重_分享大量数据去重的方法，顺便问下 python 内存占用问题...

单个文本文件，大小 11G ，数据总量 6000 万左右，去重后约 4000 万，去重的依据是 md5 值列。

首先尝试的方法是：建立 md5 的唯一索引， load data infile 语句导入，跑了一个晚上没跑完。

后来取 md5 的前三位进行判断，把不重复的数据写到新的文本文件，去掉唯一索引，再次用 load data infile 语句导入，共计（ 10 + 8 = 18 分钟）。

代码大致如下，问题是，这段代码运行后会把 6G 内存全部用完（系统 1G ， python 占用 5G ），想问下怎么会占用这么多内存？

import time

start_time = time.time()

lines = []

md5s = {}

for x in 'abcdef1234567890':

for y in 'abcdef1234567890':

for z in 'abcdef1234567890':

md5s[x + y + z] = set()

with open('files.txt', 'r', encoding = 'utf-8') as f:

for i, line in enumerate(f):

try:

if i % 10000 == 0:

print(i)

md5 = line.split('|')[3]

key = md5[:3]

if md5 not in md5s[key]:

md5s[key].add(md5)

lines.append(line)

if len(lines) > 10000:

with open('new.txt', 'a', encoding = 'utf-8') as f:

f.write(''.join(lines))

lines = []

except Exception as e:

print(e)

print(line)

with open('new.txt', 'a', encoding = 'utf-8') as f:

f.write(''.join(lines))

lines = []

print((time.time() - start_time) / 60)