在处理大规模数据时，发现Python程序内存占用逐渐增加，导致运算速度下降。通过使用psutil监控内存，发现在遍历CSV文件过程中内存从60Mb增至6Gb。解决方案是循环结束后清除或置空变量，以释放内存。理解Python变量是内存地址的指针，每次赋值会分配新内存，而非覆盖旧数据。建议在循环中及时清理列表、字典等数据结构，以防止内存占用过高。
最近在使用过往A股数据进行回测的时候，有一种算法需要遍历数据库内所有的A股数据文件并且进行循环计算，一个让人不快的现象是，越到后面，运算的速度越慢。因此我使用了psutil包跟踪程序所占用的内存。
print (u'内存使用：',psutil.Process(os.getpid()).memory_info().rss)显示发现，随着我对于个股数据的csv文件遍历打开，我的内存占用从最开始的60Mb飙升到了6Gb，然后我电脑就卡死了
python号称智能管理内存，起码在这次的表现中，它是不合格的。对于这一问题的解决方法也很简单，就是每次循环结束之后将循环中用到的变量清理掉或者是赋值为空。
data.clear()使用了这么简单的一句代码后，内存占比就掉到了100Mb左右并一直保持到程序结束。
和C语言不同，python在使用变量之前并
最低0.47元/天 解锁文章
扫一扫
4839
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
