Django ORM性能优化》》使用iterator()保持连接查询

使用iterator()保持连接查询

当查询结果有很多对象时，QuerySet的缓存行为会导致使用大量内存。如果你需要对查询结果进行好几次循环，这种缓存是有意义的，但是对于 queryset 只循环一次的情况，缓存就没什么意义了。在这种情况下，iterator()可能会有所帮助。

for book in BookInfo.objects.all():
    do_xxx(book)

上面的查询，Django会把Books的所有数据载入内存，然后进行一次循环，其实我们更想要保持这个数据库 connection, 每次循环的取出一条book数据，然后调用 do_xxx操作。iterator 就是我们的救星。

for book in BookInfo.objects.all().iterator():
    do_xxx(book)

有了 iterator，你就可以编写线性数据表或者CSV流了。就能增量写入文件或者发送给用户。

特别是跟 values，values_list 结合在一起的时候，能尽可能少的使用内存。在需要对表中的每一行进行修改的迁移期间，使用iterator也非常方便。 不能因为迁移不是面向客户的就可以降低对效率的要求。 长时间运行的迁移可能意味着事务锁定或停机