python list tuple 消耗_Python内存消耗:dict VS元组列表

在这种情况下,你实际上得到了一个不完整的内存使用图片。字典的总大小以不规则的间隔增加一倍以上,如果在字典大小增加后比较这两个结构的大小,它会再次变大。一个带有递归大小函数的简单脚本(见下面的代码)显示了一个非常清晰的模式:i: 2 list size: 296 dict size: 328 difference: -32

i: 3 list size: 392 dict size: 352 difference: 40

i: 4 list size: 488 dict size: 376 difference: 112

i: 5 list size: 616 dict size: 400 difference: 216

i: 7 list size: 808 dict size: 1216 difference: -408

i: 10 list size: 1160 dict size: 1288 difference: -128

i: 13 list size: 1448 dict size: 1360 difference: 88

i: 17 list size: 1904 dict size: 1456 difference: 448

i: 23 list size: 2480 dict size: 3904 difference: -1424

i: 31 list size: 3328 dict size: 4096 difference: -768

i: 42 list size: 4472 dict size: 4360 difference: 112

i: 56 list size: 5912 dict size: 4696 difference: 1216

i: 74 list size: 7880 dict size: 5128 difference: 2752

i: 100 list size: 10520 dict size: 14968 difference: -4448

i: 133 list size: 14024 dict size: 15760 difference: -1736

i: 177 list size: 18672 dict size: 16816 difference: 1856

这种模式随着i的增长而继续。(您可以使用您的方法对此进行测试——尝试在2636744附近设置i。字典的大小在那一点上更大,至少对我来说是这样的。)Martijn正是元组列表中的元组增加了内存开销,抵消了列表相对于字典的内存优势。但平均来说,结果并不是字典更好,而是字典差不多一样。所以在回答你最初的问题时:When you want to store LOTS of key-value data in memory, which data structure is more memory-efficient, a dict or a list of tuples?

如果你只关心记忆,那其实并不重要。

但是,请注意,遍历字典通常比遍历列表慢一点,因为没有好的方法可以避免遍历字典中的所有空容器。所以有一个折衷的办法——字典在随机键查找上要快得多,而列表在迭代上要快得多。字典在大多数情况下可能会更好,但在一些罕见的情况下,列表可能会提供微观优化。

这是测试大小的代码。它可能不会为所有的角点情况生成正确的结果,但是它应该处理这样的简单结构而不会有任何问题。(但如果你发现任何问题,请告诉我。)import sys, collections, itertools, math

def totalsize(x):

seen = set()

return ts_rec(x, seen)

def ts_rec(x, seen):

if id(x) in seen:

return 0

else:

seen.add(id(x))

x_size = sys.getsizeof(x)

if isinstance(x, collections.Mapping):

kv_chain = itertools.chain.from_iterable(x.iteritems())

return x_size + sum(ts_rec(i, seen) for i in kv_chain)

elif isinstance(x, collections.Sequence):

return x_size + sum(ts_rec(i, seen) for i in x)

else:

return x_size

for i in (10 ** (e / 8.0) for e in range(3, 19)):

i = int(i)

lsize = totalsize([(x, x) for x in xrange(i)])

dsize = totalsize(dict((x, x) for x in xrange(i)))

print "i: ", i,

print " list size: ", lsize, " dict size: ", dsize,

print " difference: ", lsize - dsize

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值