最近在项目中遇到一个有意思的事。mysql在查询过程中耗时很长,找了一下原因,无果。遂去万能的百度寻求答案,找来找去,感觉自己好像发现了什么。。。以此记录一下,下次遇到的话有个解决!!!
先是我最开始的sql语句
select * from table limit 100000,20
执行时间3.26秒
然后优化limit
优化后的sql语句
select * from table where id > (select id from table limit 100000,1) limit 100000,20
运行一下,时间0.11秒
这个提升速度,惊呆了,是不是!
嗯,问题虽然是解决了,但是里面的原理呢?
继续深究一下
引用一下大神的文章:传送门
来自雅虎的几位工程师带来了一篇”EfficientPagination Using MySQL”的报告
limit10000,20的意思扫描满足条件的10020行,扔掉前面的10000行,返回最后的20行,问题就在这里。
LIMIT 451350 , 30 扫描了45万多行,怪不得慢的都堵死了。
但是
limit 30 这样的语句仅仅扫描30行
那就行了,那我们就想办法扫描20行,找到之前的最大记录,然后在这个记录之后去扫描,ok,问题解决了
嗯,这就是所谓的子查询优化法。需要注意的是:子查询优化法数据必须是连续的,就是说不能有where条件
这个就比较烦人了。当然,还有其他的方法:
倒排表优化法
反向查找优化法
limit限制优化法
只查索引法
上面的这几个方法自己暂时没用到,就不一一拿出来说了,毕竟没用,感触不深,如果你们需要深究的话,可以再去那边看看哦。再次附传送门