MySQL的limit分页,为什么越往后翻越慢,怎么解决?

什么是limit分页问题

select * from table limit 0,10 扫描满足条件的10行,返回10行。
但当执行select * from table limit 800000,20 的时候数据读取就很慢,limit 800000,20的意思扫描满足条件的800020行,扔掉前面的800000行,返回最后的20行,可想而知这时会很慢,测试了一下达到37.44秒之久。

怎么解决

利用表的覆盖索引来加速分页查询。

我们都知道,利用了索引查询的语句中如果只包含了那个索引列(覆盖索引),那么这种情况会查询很快。

因为利用索引查找有优化算法,且数据就在查询索引上面,不用再回表查询数据行,这样节省了很多时间。

另外Mysql中也有相关的索引缓存,在并发高的时候利用缓存就效果更好了。

在我们的例子中,我们知道id字段是主键,自然就包含了默认的主键索引。

这次我们之间查询(利用覆盖索引,只包含id列),如下:

select id from product order by id limit 800000, 20

查询时间为0.2秒,相对于查询了所有列的37.44秒,提升100多倍的速度。

那么如果我们也要查询所有列,有两种方法:

方法1:子查询,id>=的形式:

select * from product 
where ID >= ( select id from product order by id limit 800000,1 ) limit 20

查询时间为0.2秒,简直是一个质的飞跃啊。

方法2:利用join(推荐这种方法

select * from product a
JOIN ( select id from product order by id limit 800000,20 ) b on a.id = b.id

效果也差不多查询时间也很短。

子查询和关联查询性能对比

上面两个一个是子查询,一个是关联查询,那么这两种方案的查询性能哪一个更好呢?

  • 子查询:把内层查询结果当作外层查询的比较条件,使用 IN( ) 函数、EXISTS 运算符等,示例如下:

    select goods_id,goods_name from goods where goods_id = (select max(goods_id) from goods);
    

    执行子查询时,MYSQL需要创建临时表,查询完毕后再删除这些临时表,所以,子查询的速度会受到一定的影响,这里多了一个创建和销毁临时表的过程。

  • 连接查询(JOIN)连接查询不需要建立临时表,因此其速度比子查询快。另外注意:能过滤先过滤,过滤好了再链接

  • 5
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: MySQL分页越往后越慢的原因是因为MySQL在执行分页操作时,需要扫描整个数据集,并跳过前面的记录,直到找到需要返回的记录。因此,当页码越大,需要跳过的记录数就越多,查询的时间就会越长。为了解决这个问题,可以使用索引或者优化查询语句来减少扫描的记录数,从而提高查询速度。还可以使用缓存技术来减少数据库的访问次数,进一步提高性能。 ### 回答2: MySQL分页越往后越慢的原因有以下几点: 1. 数据量增加:随着分页越往后,需要查询的总数据量也随之增加。如果查询的表中包含大量数据,即使使用索引加速查询,仍然需要读取更多的数据,导致查询速度变。 2. 执行排序:分页查询往往需要根据某一列进行排序,这个排序操作会消耗较多的资源和时间。随着分页越往后,需要排序的数据会变得越来越多,导致排序时间逐渐增加。 3. 索引失效:当分页查询的条件不符合索引的使用规则时,索引将会失效,导致查询变分页查询的条件通常包括limit和offset,如果这些条件导致索引失效,MySQL将会扫描更多的数据页,降低查询效率。 4. 内存使用:MySQL分页查询需要将查询结果保存在内存中并返回给客户端,随着分页越往后,需要保存的数据量也逐渐增加,可能导致内存不足,从而降低查询效率。 针对这些问题,可以采取以下措施来提高分页查询的性能: 1. 优化查询语句:尽可能减少查询的数据量,只查询需要的字段,避免不必要的排序操作。同时,可以通过优化查询条件,让索引能够正常使用,提高查询效率。 2. 分批处理:将大的分页查询任务拆分成多个小的查询任务,分多次查询,减少每次查询的数据量,降低负载,提高查询性能。 3. 使用缓存:如果分页查询的结果集是经常被使用的,可以考虑将结果集缓存在内存中,避免重复查询,提高访问速度。 4. 使用合适的硬件:分页查询需要大量的计算和内存资源,使用高性能的硬件和配置合理的参数可以提高查询速度。 综上所述,MySQL分页越往后越慢的原因主要包括数据量增加、执行排序、索引失效和内存使用等。通过优化查询语句、分批处理查询、使用缓存和合理配置硬件等措施可以提高分页查询的性能。 ### 回答3: MySQL分页越往后越慢是由于以下几个原因导致的。 首先,MySQL在查询大量数据时,从硬盘上读取数据需要一定的时间。当偏移量较小的时候,需要获取的数据相对较少,读取速度较快。然而,随着偏移量的增加,需要跳过的数据越多,读取的数据量也越大,导致读取速度变。 其次,MySQL分页查询是通过LIMIT来实现的。当查询结果较小时,LIMIT语句的性能并不影响查询的速度。但是,当查询结果较大时,LIMIT语句会对查询进行额外的处理,通过跳过偏移量来获取指定页面的数据。随着偏移量的增加,LIMIT语句的处理时间也会增加,导致查询的速度降低。 此外,数据库查询还涉及到查询条件、索引等因素。当查询条件中包含多个约束条件时,MySQL需要对每个约束条件进行判断,并返回符合条件的结果。随着数据量的增加,约束条件的判断时间也会增加,从而导致查询速度变。而索引的使用也可能受到偏移量的影响,当偏移量较大时,索引的效果减弱,查询速度变。 综上所述,MySQL分页查询越往后越慢是由于读取大量数据的耗时、LIMIT处理时间增加、查询条件判断时间增加以及索引效果降低等因素共同作用的结果。为了提高分页查询的性能,可以考虑使用更有效的查询条件、优化数据库索引、合理设置偏移量等措施。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值