利用延迟关联或者子查询优化超多分页场景

最新推荐文章于 2023-04-10 00:35:40 发布
最新推荐文章于 2023-04-10 00:35:40 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： Mysql
原文链接：https://blog.csdn.net/weixin_40413816/article/details/82867119
版权

根据阿里巴巴JAVA开发手册

【推荐】利用延迟关联或者子查询优化超多分页场景。
说明：MySQL 并不是跳过 offset 行，而是取 offset+N 行，然后返回放弃前 offset 行，返回
N 行，那当 offset 特别大的时候，效率就非常的低下，要么控制返回的总页数，要么对超过
特定阈值的页数进行 SQL 改写。
正例：先快速定位需要获取的 id 段，然后再关联：
SELECT a.* FROM 表 1 a, (select id from 表 1 where 条件 LIMIT 100000,20 ) b where a.id=b.id

MySQL 分页并不是跳过 offset 行，而是取 offset +N 行，然后返回放弃前 offset 行，返回
N 行，所以当 offset 特别大的时候，效率就非常的低下，要么控制返回的总页数，要么对超过
特定阈值的页数进行 SQL 改写。

例(先快速定位需要获取的ID范围)：
SELECT a.* FROM 表 1 a, (select id from 表 1 where 条件 LIMIT 100000,20 ) b where a.id=b.id

vierhang
关注
专栏目录
MyBatis性能调优——优化SQL查询和分页查询速度
AI天才研究院
07-28 2758
MyBatis 是 MyBatis SQL Mapper Framework 的简称，是一个 Java 框架，用于存取数据库中的数据。MyBatis 将 sql 映射到 java 对象上，并将对象映射成 sql，最终实现对关系数据库进行持久化操作。MyBatis 使用 xml 或注解的方式来配置映射关系，并通过 xml 文件或注解来生成mybatis核心配置文件 mybatis-config.xml，然后再根据具体的业务需要编写 mapper 文件。
SQL超大数据分页查询及优化
小李的博客
03-23 2599
SQL超大数据分页查询及优化 一、认识SQL LIMIT LIMIT：子句用于select中，对输出结果集的行数进行约束，limit接收2个参数，但通常只用一个，两个参数都是整型数字。 LIMIT n,m 从第n行开始，查找m行记录(起始行为第0行) LIMIT m OFFSET n 从第n行开始，查找m行记录(起始行为第0行) SELECT column1,column2... FROM table LIMIT index, num; <==> SELECT column1,column
工作碰到的超大分页优化
qq_42524262的博客
03-23 2943
背景 最近做一个需求，业务需要一个查看并能导出订单的页面。但分析历史订单数据发现公司每个月都有六七百万的订单数据，如果碰到大促可能就有上千万，单靠mysql查效率有点差，但偏偏部门还没有可用的搜索引擎，需求也比较紧急，去申请资源再搭建时间来不及。后来想了个方案，将订单数据同步过来按月分表，虽然查数据只能查月内数据，但也能满足基本使用，等后期再用ES优化。 实现与优化 公司用的通用的一套分页中间件，所以我就先按普通的写法实现了一版，结果测试后发现效率是真的不行，一次查询要48秒。 一方面是数据量比较大，还有一
mysql 利用延迟关联或者子查询优化超多分页场景
最新发布
洪晓鸿
04-10 1182
利用延迟关联或者子查询优化超多分页场景 在实际应用中，你可以根据当前页数判断是否需要改写SQL。例如，如果当前页数小于特定阈值，可以使用OFFSET和LIMIT进行分页；如果当前页数超过阈值，则改为使用基于ID的查询。这样可以在不同的场景下实现性能的优化
MySQL 延迟关联优化超多分页场景
ShinDebonair
02-15 547
一个例子 场景： 订单表数据量：3000 万。 查询最近 7 天的订单，并做分页、分片。 表结构： CREATE TABLE `t_order` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `order_no` varchar(50) NOT NULL, ... `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (`id`), UNIQUE KEY
mysql 利用子查询优化超多分页场景（第四点重点噢）
lipeitong333的博客
02-18 1229
1. 是否能使用「覆盖索引」，减少「回表」所消耗的时间。意味着，我们在select 的时候，一定要指明对应的列，而不是select * 2. 考虑是否组建「联合索引」，如果组建「联合索引」，尽量将区分度最高的放在最左边，并且需要考虑「最左匹配原则」 3.对索引进行函数操作或者表达式计算会导致索引失效 4.利用子查询优化超多分页场景。比如 limit offset , n 在MySQL是获取 offset + n的记录，再返回n条。而利用子查询则是查出n条，通过ID检索对应的记录出来，提高查询效率。
MySQL延迟关联性能优化方法
09-10
MySQL延迟关联是一种性能优化策略，尤其适用于处理大数据量的排序和分页查询。在上述问题中，业务数据库CPU使用率高，查询效率低下，原因是执行了一个包含`ORDER BY`和`LIMIT`的查询，这种查询在大数据量下性能消耗...
MySQL单表百万数据记录分页性能优化技巧
09-10
- **使用延迟关联**：在某些情况下，通过先获取分页所需的键，然后再进行关联查询，可以提高性能。 3. **数据库架构调整**： - **水平拆分**：将大表分为多个小表，每个小表的数据量保持在一定范围内，可以有效...
MySQL 利用子查询（延迟关联）优化分页查询
x²＋(y－√³x²)²＝1的博客
06-17 827
通常会有一些起点巨大的分页查询，效率低下，例如： select * from tab where create_date>'2018-12-20 13:20:10' and create_date<'2019-05-01 14:00:00' order by id limit 328000,10; 假设 tab 是一个数据量非常大的表，且满足条件 create_date>'2018-12-20 13:20:10' and create_date<'2019-05-01
mysql优化超多分页场景
阿昊的博客
10-22 413
一，造数据 -- CREATE TABLE CREATE TABLE `test` ( `id` int(11) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=latin1; -- 关闭索引造数据 -- 关闭： ALTER TABLE `test` DISABLE KEYS ; -- 开启： ALTER TABLE `test` ENABLE KEYS; -- 过程造数据 create proc...
MySQL利用延迟关联或者子查询优化超多分页场景(MySQL offset)
cfy的博客
09-27 1499
MySQL 分页并不是跳过 offset 行，而是取 offset +N 行，然后返回放弃前 offset 行，返回 N 行，所以当 offset 特别大的时候，效率就非常的低下，要么控制返回的总页数，要么对超过 特定阈值的页数进行 SQL 改写。 例： SELECT a.* FROM 表 1 a, (select id from 表 1 where 条件 LIMIT 100000,20 ) b ...
百万数据量下，使用延迟关联优化超大分页
花开的博客
08-10 315
百万数据量下，使用延迟关联优化超大分页 MySQL 并不是跳过 offset 行，而是取 offset + N 行，然后返回放弃前 offset 行，返回 N 行，那当offset 特别大的时候，效率就非常的低下 延迟关联 根本原理在于利用索引覆盖，避免二次回表，提高性能，延迟关联则是通过使用覆盖索引查询返回需要的主键,再根据主键关联原表获得需要的数据。 模拟百万条数据 表结构 DROP TABLE IF EXISTS `user`; CREATE TABLE `user` ( `id` in
优化limit分页（延迟关联）
wang_wxd的博客
11-14 1584
MYSQL limit分页优化
MySQL 利用延迟关联优化分页查询
灯火觅阑珊
05-05 859
通常会有一些起点巨大的分页查询，效率低下，例如： select * from tab where create_date>'2018-12-20 13:20:10' and create_date<'2019-05-01 14:00:00' order by id limit 328000,10; 假设tab是一个数据量非常大的表，且满足条件create_date>'2018-1...
延迟关联优化SQL一例
FaN()
03-30 1080
昨日下午和今日凌晨出现较多告警 经排查发现时又下面SQL导致 SELECT * FROM pre_forum_post ORDER BY pid ASC LIMIT 7332000,1000 Limit愈来愈大,导致走全表扫描加文件排序 root@localhost 10:23: [forum_longtugamev2_db]&gt; explain SELECT * F...
java开发手册 之 利用子查询优化超多分页场景
jyworker_1313的博客
11-01 255
java开发手册 之 利用子查询优化超多分页场景
Hibernate性能优化：抓取策略与缓存应用
- 当使用一对多关联并逐个加载子对象时，可能会导致N+1查询问题。通过恰当的抓取策略（如JOIN抓取）或分页查询，可以有效避免这个问题。 8. **减少对象的级联操作**： - 级联操作可能导致不必要的数据加载和更新...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值