python处理千万级数据_python处理10亿级别数据求助

我的目的是想要穷举某种情况,最终得到一个大字典(键有约10亿个,每个键对应2个值).然后再把这个字典写进txt里面.具体是约10亿种数字组合,每个数字组合包含6个正整数(范围是37到80),它们...

我的目的是想要穷举某种情况,最终得到一个大字典(键有约10亿个,每个键对应2个值).然后再把这个字典写进txt里面.

具体是约10亿种数字组合,每个数字组合包含6个正整数(范围是37到80),它们按一定规则分散在3个数组里面,比如[37,37],[37,48],[40,80].

我穷举情况是为了得到一个最优解.大字典的成员形如{'a':int1,'b':int2},其中int2可能包含许多个相同的值,对于那些相同的int2,我要找到int1最小时对应的键.如果最小的int1也不止一个,那么随便选一个键即可.

最开始的出错类型是'Unhandled exception in thread started by',后面不知不觉就变成'MemoryError'了.

求教我该如何解决这个问题

貌似上传不了附件...代码一贴也提示我太多了...咋办..其实一个才2.28KB的附件,,肯跌的百度

我放这里了,辛苦大神指点下,谢谢了

共享链接：http://163.fm/Cdbn5vK

提取码：1LhSzOkv

展开