python存储大量数据_字典的存储容量,想在Python中将大量数据存储到字典中

我想将大量数据存储到python字典中.巨大的数据可能约为21 GB.我写了一段代码来做到这一点.将整数值存储在字典中.

码：

import timeit

import sys

dicts = {}

print "\n***Building dict..."

start = timeit.default_timer()

for j in range(0,5):

for i in range(0,1000000):

dicts[''+str(j)+str(i)] = i

print str(i) + '-' + str(j)

print "Size : ", sys.getsizeof(dicts)/1024/1024, " MB"

print "Total time of build dict", timeit.default_timer() - start

在运行时,当我使用** getsizeof(dicts)**达到1.2GB的大小时,它无法将值存储在字典中,但没有显示任何错误.词典是否具有某些存储数据的能力？

因此,问题是如何将大量数据存储到字典中？

注意：不需要将数据存储在文件或数据库中.因为我想非常快速地检索键,值对.

解决方法:

Python字典大小的限制取决于操作系统提供的可用内存.问题在于,随着字典的增长(调整大小),它必须复制自身以重新分配键,因此当字典变得非常庞大时,此过程可能会开始需要比实际可用内存更多的内存.

标签：dictionary,memory,python