mysql深度分页优化研究

已于 2023-01-12 17:38:15 修改
阅读量342 收藏
点赞数
分类专栏： mysql 文章标签： mysql 数据库 sql
于 2021-08-12 17:20:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36715271/article/details/118757773
版权
本文通过sysbench创建大量测试数据，探讨MySQL深度分页的性能问题。实验显示，通过子查询优化能显著提高查询速度，但面对大规模数据，优化后的效果仍然有限。建议在业务层面限制深度分页，或采用延迟关联等方法来提高性能。
摘要由CSDN通过智能技术生成

使用sysbench造数

由于想得到大批量的测试数据,可以借助sysbench工具

1.安装sysbench

curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash

yum -y install sysbench

检查安装是否成功

sysbench --version

2.造一千万测试数据

xxx部分分别填你自己mysql主机地址\用户名\密码\数据库名

sysbench --db-driver=mysql --threads
最低0.47元/天 解锁文章
勒布朗.马克思
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MySQL千万级大表深度分页为什么慢，以及优化的方法、原理
05-20
- **分页优化插件：** MySQL有一些插件如`Page_Cursor`，可以优化分页查询性能。 - **数据归档：** 对于历史数据，可以考虑归档处理，降低在线数据量。 - **数据预热：** 将经常访问的数据部分加载到内存中，减少...
MySQL深度分页优化
JavaMa的博客
05-16 6790
Mysql深度分页优化 1. 背景 mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。 例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录) 2. 优化 2.1 业务层面限制跨度比较大的跳页 百度和Google方案: [外链图片转存失败,源站可能有防盗链机制,
MySQL-深度分页如何优化
子悠のziyou
02-26 1129
延迟关联的优化思路，跟子查询的优化思路其实是一样的：都是把条件转移到主键索引树，然后减少回表。先查询出所需要的数据的主键id，因为在非聚集索引中每个叶子节点记录的数据为其id，这样就不需要回表查询，然后再去主键索引中查询。根据业务实际需求，看能否替换为上一页，下一页的功能，这样子就可以通过和上次数据进行比较，搭上树分支过滤的快车。深度分页造成的结果，offset越来越大，回表的记录越来越多，SQL查询性能急剧下降，会出现大量的慢SQL。直接通过主键索引查找，省略了二级索引查找过程，性能更高。
MySQL深分页优化
最新发布
天地孤影任我行的博客
06-06 1131
MySQL中的深分页问题通常是指当我们通过LIMIT语句查询数据，尤其是在翻到较后面的页码时，性能会急剧下降。例如，查询第1000页的数据，每页10条，系统需要跳过前9990条数据，然后才能获取到所需的记录，这在大数据集上非常低效。传统的深分页实现方法通常是使用OFFSET和LIMIT这会导致数据库扫描大量不需要的行然后抛弃它们，才能获取到真正需要的数据。
MySQL千万级数据深度分页优化
qq_36748747的博客
05-28 2518
看完此篇文章，你可以对MySQL深度分页有着深刻的理解 itlg出品，必出精品 1.准备工作 1.1建表 #创建一个存储名称的表，因为我是使用mysql8.0版本，所以bigint无需指定长度 CREATE TABLE `tb_name` ( `id` bigint NOT NULL AUTO_INCREMENT, `name` varchar(64) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL, ...
MYSQL深度分页的常见优化方案
白云
02-28 2382
MYSQL深度分页的常见优化方案
MySQL深分页问题四种方案解析
做从未做的事，叫成长；做不愿做的事，叫改变；做不敢做的事，叫突破。
01-16 2400
深分页问题在实际项目中很常见，当数据量大以后，分页会非常的慢，下面将介绍四种方案来助你解决
mysql limit分页优化详细介绍
12-16
MySQL中的`LIMIT`子句是执行分页查询的关键，它允许我们从结果集中选择特定数量的行。然而，当处理大量数据时，直接使用`...对于需要深度分页的应用，可以考虑采用文中提到的优化方法或探索其他高性能的分页解决方案。
MySQL limit使用方法以及超大分页问题解决
09-09
然而，对于极端情况，比如用户翻到数千页后，可能需要考虑是否真的需要提供这样的深度分页，或者可以设计其他策略，如加载更多、懒加载等，以改善用户体验。 在实际应用中，应根据业务需求和数据规模，结合性能测试...
MySQL 千万级数据量如何快速分页
09-08
传统的LIMIT分页方式在数据量巨大时，尤其是进行深度分页（比如跳过大量行后取少量数据），会导致查询效率低下，因为MySQL需要扫描并忽略大量的行来找到需要的数据。这不仅消耗CPU资源，还会增加磁盘I/O负担，进而...
优化mysql的limit offset的例子
12-15
在MySQL数据库中，`LIMIT` 和 `OFFSET` 子句常用于实现分页查询，但当 `OFFSET` 值较大时，查询性能会显著下降。这是因为MySQL必须首先跳过指定数量的行，然后返回所需的行，这在数据量大的情况下极其耗时。例如，`...
Mysql深度分页优化思路和方案
dongci777的博客
04-09 1360
Mysql深度分页优化的解决方案
MySQL 深度分页优化
Songbl_的博客
08-15 558
分页使用limit ，前提是要排序好的数据，这时候，就推荐使用带索引的字段排序，因为索引是天然有序的，不需要像是无序的字段一样，全表扫描，如果太大的话，还filesort ，利用文件排序，排序完成之后，才能分页，很慢。但是，如果分页过深的话，比如limit100万，仍然无需要查询到100万数据，中间有大量的io操作（回表查询其它字段），这时候考虑用上子查询，先查到100万位置的往后10条数据（直接用id主键查，因为没有回表，直接索引查，所以很快），然后再关联10条数据，取得完整的数据。
【性能优化】MySQL百万数据深度分页优化思路分析
欢迎来到三十七度的博客
07-25 1173
一般在项目开发中会有很多的统计数据需要进行上报分析，一般在分析过后会在后台展示出来给运营和产品进行。这种统计数据随着时间的推移数据量会慢慢的变大，达到百万、千万条数据只是时间问题。
MySQL 深分页优化
小楠的博客
09-20 400
而在第二条语句中，offset 设置为 6000000，则会在 InnoDB 的主键索引中获取第 0 ～ 6000000 + 10 条完整的行数据，返回给 server 层后根据 offset 的数值进行丢弃，只保留后面的 size 条数据，放到 server 层的结果集中，最后返回给客户端。针对第一条语句，server 层会调用 InnoDB 接口，在 InnoDB 的主键索引中获取到第 0 ～ 10 条完整的行数据，一次性返回给 server 层，并放到 server 层的结果集中，最后返回给客户端。
MySQL深度分页优化问题
个人博客，欢迎收藏。https://xiaoaozz.github.io/
01-18 1322
MySQL深度分页问题优化
MySql深度分页查询优化
xiaoshitou_2015的博客
04-07 747
（订单表的情况也是类似的，只不过它的数据体量比客户表更大）。下面我们一起来测试一下，每次查询客户表时最多返回 100 条数据，不同的起始下，数据库查询性能的差异。
mysql 深度分页优化
05-13
以下是一些优化MySQL深度分页的方法： 1. 利用索引：为分页查询中用到的列建立索引，可以大大提高查询效率。 2. 避免使用子查询：子查询会导致查询效率低下，尤其是在深度分页时。可以使用JOIN代替子查询。 3. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值