在这种情况下,你实际上得到了一个不完整的内存使用图片。字典的总大小以不规则的间隔增加一倍以上,如果在字典大小增加后比较这两个结构的大小,它会再次变大。一个带有递归大小函数的简单脚本(见下面的代码)显示了一个非常清晰的模式:i: 2 list size: 296 dict size: 328 difference: -32
i: 3 list size: 392 dict size: 352 difference: 40
i: 4 list size: 488 dict size: 376 difference: 112
i: 5 list size: 616 dict size: 400 difference: 216
i: 7 list size: 808 dict size: 1216 difference: -408
i: 10 list size: 1160 dict size: 1288 difference: -128
i: 13 list size: 1448 dict size: 1360 difference: 88
i: 17 list size: 1904 dict size: 1456 difference: 448
i: 23 list size: 2480 dict size: 3904 difference: -1424
i: 31 list size: 3328 dict size: 4096 difference: -768
i: 42 list size: 4472 dict size: 4360 difference: 112
i: 56 list size: 5912 dict size: 4696 difference: 1216
i: 74 list size: 7880 dict size: 5128 difference: 2752
i: 100 list size: 10520 dict size: 14968 difference: -4448
i: 133 list size: 14024 dict size: 15760 difference: -1736
i: 177 list size: 18672 dict size: 16816 difference: 1856
这种模式随着i的增长而继续。(您可以使用您的方法对此进行测试——尝试在2636744附近设置i。字典的大小在那一点上更大,至少对我来说是这样的。)Martijn正是元组列表中的元组增加了内存开销,抵消了列表相对于字典的内存优势。但平均来说,结果并不是字典更好,而是字典差不多一样。所以在回答你最初的问题时:When you want to store LOTS of key-value data in memory, which data structure is more memory-efficient, a dict or a list of tuples?
如果你只关心记忆,那其实并不重要。
但是,请注意,遍历字典通常比遍历列表慢一点,因为没有好的方法可以避免遍历字典中的所有空容器。所以有一个折衷的办法——字典在随机键查找上要快得多,而列表在迭代上要快得多。字典在大多数情况下可能会更好,但在一些罕见的情况下,列表可能会提供微观优化。
这是测试大小的代码。它可能不会为所有的角点情况生成正确的结果,但是它应该处理这样的简单结构而不会有任何问题。(但如果你发现任何问题,请告诉我。)import sys, collections, itertools, math
def totalsize(x):
seen = set()
return ts_rec(x, seen)
def ts_rec(x, seen):
if id(x) in seen:
return 0
else:
seen.add(id(x))
x_size = sys.getsizeof(x)
if isinstance(x, collections.Mapping):
kv_chain = itertools.chain.from_iterable(x.iteritems())
return x_size + sum(ts_rec(i, seen) for i in kv_chain)
elif isinstance(x, collections.Sequence):
return x_size + sum(ts_rec(i, seen) for i in x)
else:
return x_size
for i in (10 ** (e / 8.0) for e in range(3, 19)):
i = int(i)
lsize = totalsize([(x, x) for x in xrange(i)])
dsize = totalsize(dict((x, x) for x in xrange(i)))
print "i: ", i,
print " list size: ", lsize, " dict size: ", dsize,
print " difference: ", lsize - dsize