笔者最近在做数据库亿级别表导出到csv这个功能
用python脚本进行实现,发现过来500w之后速度越来越慢,一开始以为是python gc的问题。后来发现是数据库limit的原因,导致越来越慢。
LIMIT语句随着数据量越来越大,效率越来越低,可以将limit语句改成 where 字段>100000 limt 1000
笔者最近在做数据库亿级别表导出到csv这个功能
用python脚本进行实现,发现过来500w之后速度越来越慢,一开始以为是python gc的问题。后来发现是数据库limit的原因,导致越来越慢。
LIMIT语句随着数据量越来越大,效率越来越低,可以将limit语句改成 where 字段>100000 limt 1000