彻底搞明白大数据量下Mysql的分页优化

最新推荐文章于 2024-07-09 16:29:06 发布

hanruikai

最新推荐文章于 2024-07-09 16:29:06 发布

阅读量413

点赞数

分类专栏： java技术文章标签： java

本文链接：https://blog.csdn.net/hanruikai/article/details/114283660

版权

当面临大数据量分页查询时，常规的`LIMIT`分页方式效率低下。本文探讨了两种优化方法：延迟关联和书签方式。延迟关联通过覆盖索引提升查询速度，而书签方式适用于ID自增场景，存储上次查询的最大ID以加速后续分页。这两种方法能显著提高分页查询的性能。

摘要由CSDN通过智能技术生成

1.背景

大家都知道分页，那么我们这里肯定讨论的不是一般的情况，一般的情况我们利用limit分页，或者java代码内存分页都可以解决。

如果数据量非常大，如何解决分页呢？比如下面的SQL。

select * from user where type=0 order by id limit 1000000,100

上面的sql需要查询100条数据，但是是从第100W条开始，mysql会需要遍历跳过前面的100W条，然后从100W条开始，获取100条记录返回，101,102,103......很明显，前面的无效数据没有必要遍历查询的。

比如测试表里面有3W多数据，量不大，我们看一下效果，常规的分页语句如下面的SQL语句：

SELECT user_id,activity_id,equity_id,gift_no FROM account_assets_0000 order by update_time limit 30000,10

基本查询耗时在0.5s左右，第一次在1s左右，因为后面的查询有缓存。

利用延迟关联，原理是利用覆盖索引加速查询，优化后SQL如下：

SELECT user_id,activity_

关注

专栏目录