sqlalchemy在遍历大量结果ORM对象时占用内存问题解决

最新推荐文章于 2024-06-22 12:11:25 发布

silentime

最新推荐文章于 2024-06-22 12:11:25 发布

阅读量2.0k

点赞数 2

本文链接：https://blog.csdn.net/silentime/article/details/84812087

版权

在处理大量ORM结果时，Python的内存管理可能导致内存激增。使用sqlalchemy的query().all()方法加载超过1000个对象会占用大量内存。通过改用query().yield_per(1000)，可以分批处理记录，减少内存占用。官方手册建议使用yield_per来优化内存分配，避免一次性加载所有数据。

摘要由CSDN通过智能技术生成

python在内存管理上有一个特点，分配出去的内存，及时对象的引用计数为0，也不会立即释放内存，而是作为内存缓存，等待下次分配，到某个时机才会回收内存，因此在使用sqlalchemy的时候，如果查询结果包含大量结果（大于1000个），需要遍历每个ORM的时候，调用query().all()方法会导致内存激增（sqlalchemy会把所有对象放在内存中），下面是遍历290000+条记录的内存激增：

[I 160802 18:17:05 xxxx:134] c6833 Memory:   3.7%   662M/7870M
[I 160802 18:18:53 xxxx:140] c6833 after xxxx
[I 160802 18:18:53 xxxx:141] c6833 Memory:  29.7%  2716M/7870M

改用query().yield_per(1000)之后，内存分配就不会那么多了：

[I 160802 18:12:15 xxxx:134] b1213 Memory:   2.9%   600M/7870M
[I 160802 18:13:39 xxxx:140] b1213 after xxxx
[I 160802 18:13:39 xxxx:141] b1213 Memory:   9.4%  1112M/7870M

官方手册对于yield_per的描述如下：

sqlalchemy官方手册写道

The purpose of th