需求:
tablename: testtable
tablesize:150000000
遍历所有数据,更新字段A的值。
做法1:
select id,A from testtable limit 0,1000;
然后分页查询,如第二页为
select id,A from testtable limit 1000,1000;
问题很简单,就使用了这种方法来进行遍历,测试sql,没有发现什么问题,就运行了。
现象:运行一段时间后,sql执行就会很慢,往往一条数据需要执行2s左右,这显然不可接受。
分析:分析过程,explain select id,A from testtable limit 1000,1000; 查看过程,返现也使用了索引,但是扫描了2000行,丢弃了前1000行。这是分页的执行过程,所以随着表数据量越来越大,sql执行所扫描的数据就会越来越多,导致很慢。
解决方法:
id一般是递增的,执行完第一个sql语句后,获取到最大的id,然后下次sql直接添加id的判断条件,下次的自行sql语句就会变成 select id,A from testtable where id>1000 limit 1000.基于索引可以快速定位到需要扫描到的id,然后再扫描1000条数据,这样的话,就能解决sql语句执行时,扫描数据越来越多的问题。