python多大储存空间不足怎么办_Python存储空间不足

我有一些数据存储在数据库中,我想处理。所以在数据库加载之前我就决定了所有的数据都在缓慢的加载。但是,由于存储的数据太大,我遇到内存不足的错误(我看到使用了超过2个gig)。所以我决定使用磁盘数据结构,并发现使用shelve是一种选择。下面是我要做的(伪python代码)def loadData():

if (#dict exists on disk):

d = shelve.open(name)

return d

else:

d = shelve.open(name, writeback=True)

#access DB and write data to dict

# d[key] = value

# or for mutable values

# oldValue = d[key]

# newValue = f(oldValue)

# d[key] = newValue

d.close()

d = shelve.open(name, writeback=True)

return d

我有几个问题

1)我真的需要写回=True吗?它有什么作用?在

2)我仍然会遇到OutofMemory异常,因为我无法控制何时将数据写入磁盘。我该怎么做?我试着每隔几次迭代执行一次sync(),但也没用。在

谢谢!在

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值