Mysql十万级数据分页查询速度优化

14 篇文章 0 订阅

最近遇到的一个线上案例。表数据量大概30w左右,单表分页查询,查最后一页就会耗时极慢

单表,带查询条件查询最后一页时

那么,问题来了,为什么查到后面会变慢呢

mysql在进行分页查询的时候

select * from a limit x,y

首先会先查询前x+y条数据,然后将前x条丢弃

所以,当x的值很大的时候,效率就会变低。

那么怎么解决呢

关联子查询可以快速定位需要获取的id段,再进行关联查询就可以提高查询效率

对于以上查询优化,可以将sql改写

很明显,同样的查询条件,时间由4秒多优化到了0点几秒,效率大大提高

其实这个sql可以再进一步拆解,当我们只查询这个表id字段时,耗时是比较短的,也就是这时我们其实快速定位了需要的数据的id段

所以获取到需要的数据的id以后,再去将每条数据具体的其他字段查询出来,速度就会快很多。

 

写在最后:

这是我最喜欢的主管最后一次对我的指导,今天很遗憾正式得知他要离职的消息,没来得及反馈这次优化学习的总结,在杭州的这第一份工作,转眼也呆了一年多,和我主管的相处可能不到一年,但是很感谢,工作上给我很多指导,我学到的不止技术,也包括其他很多方面的东西,确实成长了很多,渐渐地可以对很多事情独当一面。当然,还是挺怂的哈哈,对很多事情还是没办法果断地去做决定,希望以后慢慢地可以做得更好吧,以他为目标继续成长。

希望有缘江湖再见。

 

 

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
MySQL是一款常用的关系型数据库管理系统,当数据量达到百万时,使用常规的分页查询方法可能会导致查询效率低下,因此需要一些优化建议。 1. 使用索引:在分页查询中,使用合适的索引可以大大提高查询速度。对于分页查询,需要对页码(如LIMIT中的offset)以及排序字段进行索引,以减小查询范围。 2. 建立分区:对于大数据量的表,可以根据某个字段对表进行分区,将数据分散存储在多个磁盘上,提高查询效率。 3. 避免全表扫描:尽量避免使用SELECT *,只选择需要的字段,减少数据传输量,优化查询性能。 4. 使用缓存:使用缓存技术,如Memcached或Redis等,在查询结果比较频繁且变化不大的情况下,可以将查询结果缓存起来,减少数据库的压力。 5. 分批查询:可以将大的查询结果分批获取,每次查询一部分数据,实现逐步加载,减少数据库的负载。 6. 合理使用内存:增大MySQL的缓冲池大小,尽量将数据存储在内存中,减少磁盘IO,提高查询性能。 7. 优化查询语句:合理编写查询语句,避免复杂的JOIN、子查询等操作,可以考虑优化查询语句的写法,减少不必要的计算和查询。 8. 使用查询缓存:对于一些经常被查询数据,可以开启查询缓存功能,将查询结果缓存起来,提高查询性能。 总之,对于百万数据量的分页查询,需要综合考虑以上建议,并根据具体情况进行优化,合理地使用索引、缓存等技术,以提高查询效率和系统性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值