16、使用limit offset 分页时，为什么越往后翻越慢？如何解决？

最新推荐文章于 2024-05-08 01:52:43 发布

weixin_34166847

最新推荐文章于 2024-05-08 01:52:43 发布

阅读量1.1k

点赞数

文章标签：数据库 python java

原文链接：http://www.cnblogs.com/zhuifeng-mayi/p/9291446.html

版权

在mysql中limit可以实现快速分页，但是如果数据到了几百万时我们的limit必须优化才能有效的合理的实现分页了，否则可能卡死你的服务器哦。

当一个表数据有几百万的数据的时候成了问题！

如 * from table limit 0,10 这个没有问题当 limit 200000,10 的时候数据读取就很慢，可以按照一下方法解决第一页会很快

PERCONA PERFORMANCE CONFERENCE 2009上，来自雅虎的几位工程师带来了一篇”EfficientPagination Using MySQL”的报告

limit10000,20的意思扫描满足条件的10020行，扔掉前面的10000行，返回最后的20行，问题就在这里。

LIMIT 451350 , 30 扫描了45万多行，怪不得慢的都堵死了。

但是，limit 30 这样的语句仅仅扫描30行。

那么如果我们之前记录了最大ID，就可以在这里做文章

举个例子

日常分页SQL语句

select id,name,content from users order by id asc limit 100000,20

扫描100020行

如果记录了上次的最大ID

 select id,name,content from users where id>10073 order by id asc limit 20

扫描20行。

总数据有500万左右

以下例子当 select * from wl_tagindex where byname='f' order by id limit 300000,10 执行时间是 3.21s

优化后：

select * from (
   select id from wl_tagindex
   where byname='f' order by id limit 300000,10
) a
left join wl_tagindex b on a.id=b.id

执行时间为 0.11s 速度明显提升
这里需要说明的是我这里用到的字段是 byname ,id 需要把这两个字段做复合索引，否则的话效果提升不明显

总结

当一个数据库表过于庞大，LIMIT offset, length中的offset值过大，则SQL查询语句会非常缓慢，你需增加order by，并且order by字段需要建立索引。

如果使用子查询去优化LIMIT的话，则子查询必须是连续的，某种意义来讲，子查询不应该有where条件，where会过滤数据，使数据失去连续性。

如果你查询的记录比较大，并且数据传输量比较大，比如包含了text类型的field，则可以通过建立子查询。

SELECT id,title,content FROM items WHERE id IN (SELECT id FROM items ORDER BY id limit 900000, 10);

如果limit语句的offset较大，你可以通过传递pk键值来减小offset = 0，这个主键最好是int类型并且auto_increment

SELECT * FROM users WHERE uid > 456891 ORDER BY uid LIMIT 0, 10;

这条语句，大意如下:

SELECT * FROM users WHERE uid >=  (SELECT uid FROM users ORDER BY uid limit 895682, 1) limit 0, 10;

如果limit的offset值过大，用户也会翻页疲劳，你可以设置一个offset最大的，超过了可以另行处理，一般连续翻页过大，用户体验很差，则应该提供更优的用户体验给用户。

关于limit 分页优化方法请参考下面的链接：

MYSQL分页limit速度太慢的优化方法

转载于:https://www.cnblogs.com/zhuifeng-mayi/p/9291446.html

关注