python解读json超内存_Python json内存臃肿

import json

import time

from itertools import count

def keygen(size):

for i in count(1):

s = str(i)

yield '0' * (size - len(s)) + str(s)

def jsontest(num):

keys = keygen(20)

kvjson = json.dumps(dict((keys.next(), '0' * 200) for i in range(num)))

kvpairs = json.loads(kvjson)

del kvpairs # Not required. Just to check if it makes any difference

print 'load completed'

jsontest(500000)

while 1:

time.sleep(1)

Linux top表明在’jsontest’函数完成后,python进程保存了~450Mb的RAM.如果省略对’json.loads’的调用,则不会出现此问题.执行此函数后的gc.collect会释放内存.

看起来内存没有保存在任何缓存或python的内部内存分配器中,因为对gc.collect的显式调用正在释放内存.

这是否发生是因为从未达到垃圾收集的门槛(700,10,10)？

我确实在jsontest之后放了一些代码来模拟阈值.但它没有帮助.