利用延迟关联或者子查询优化超多分页场景

最新推荐文章于 2023-04-10 00:35:40 发布
最新推荐文章于 2023-04-10 00:35:40 发布
阅读量744 收藏 1
点赞数
文章标签： 数据库 java python
原文链接：https://my.oschina.net/u/3865831/blog/3031841
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

       MySQL并不是跳过offset行，而是取offset+N行，然后返回放弃前offset行，返回N行，那当offset 特别大的时候，效率就非常的低下，要么控制返回的总页数，要么对超过特定阈值的页数进行SQL改写。
正例：先快速定位需要获取的id段，然后再关联：SELECT a.* FROM 表1 a, (select id from 表1 where 条件 LIMIT 100000,20 ) b where a.id=b.id

转载于:https://my.oschina.net/u/3865831/blog/3031841

weixin_33842304
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql 利用子查询优化超多分页场景（第四点重点噢）
lipeitong333的博客
02-18 1202
1. 是否能使用「覆盖索引」，减少「回表」所消耗的时间。意味着，我们在select 的时候，一定要指明对应的列，而不是select * 2. 考虑是否组建「联合索引」，如果组建「联合索引」，尽量将区分度最高的放在最左边，并且需要考虑「最左匹配原则」 3.对索引进行函数操作或者表达式计算会导致索引失效 4.利用子查询优化超多分页场景。比如 limit offset , n 在MySQL是获取 offset + n的记录，再返回n条。而利用子查询则是查出n条，通过ID检索对应的记录出来，提高查询效率。
MySQL延迟关联性能优化方法
09-10
MySQL延迟关联是一种性能优化策略，尤其适用于处理大数据量的排序和分页查询。在上述问题中，业务数据库CPU使用率高，查询效率低下，原因是执行了一个包含`ORDER BY`和`LIMIT`的查询，这种查询在大数据量下性能消耗...
mysql 利用延迟关联或者子查询优化超多分页场景
洪晓鸿
04-10 985
利用延迟关联或者子查询优化超多分页场景 在实际应用中，你可以根据当前页数判断是否需要改写SQL。例如，如果当前页数小于特定阈值，可以使用OFFSET和LIMIT进行分页；如果当前页数超过阈值，则改为使用基于ID的查询。这样可以在不同的场景下实现性能的优化
mysql优化超多分页场景
阿昊的博客
10-22 397
一，造数据 -- CREATE TABLE CREATE TABLE `test` ( `id` int(11) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=latin1; -- 关闭索引造数据 -- 关闭： ALTER TABLE `test` DISABLE KEYS ; -- 开启： ALTER TABLE `test` ENABLE KEYS; -- 过程造数据 create proc...
MySQL单表百万数据记录分页性能优化技巧
09-10
- **使用延迟关联**：在某些情况下，通过先获取分页所需的键，然后再进行关联查询，可以提高性能。 3. **数据库架构调整**： - **水平拆分**：将大表分为多个小表，每个小表的数据量保持在一定范围内，可以有效...
mybatis一对多性能优化demo
08-02
3. **子查询（Subquery）**：在`<collection>`标签内使用`<subselect>`标签，可以创建一个子查询来获取关联数据。这种方式可以避免内存中的笛卡尔积问题，但同样会产生较复杂的SQL语句。 4. **结果映射缓存（Result...
MySQL 亿级数据分页的优化
08-04
5. **延迟关联**：如果查询涉及多表联接，可以先单独查询主表的大偏移量，再与从表进行关联，减少从表的扫描。 6. **使用全文索引**：对于复杂的搜索需求，考虑使用全文索引，可以提供更高效的搜索结果。 7. **...
MySQL性能优化的21个最佳实践.zip
最新发布
08-25
5. **使用LIMIT优化分页查询**：在大型数据集的分页查询中，使用LIMIT和OFFSET结合，但OFFSET值大的话会变慢，可考虑使用子查询或ROW_NUMBER()函数。 6. **减少临时表的使用**：过度依赖临时表可能导致性能下降，...
MySQL利用延迟关联或者子查询优化超多分页场景(MySQL offset)
cfy的博客
09-27 1465
MySQL 分页并不是跳过 offset 行，而是取 offset +N 行，然后返回放弃前 offset 行，返回 N 行，所以当 offset 特别大的时候，效率就非常的低下，要么控制返回的总页数，要么对超过 特定阈值的页数进行 SQL 改写。 例： SELECT a.* FROM 表 1 a, (select id from 表 1 where 条件 LIMIT 100000,20 ) b ...
MySQL 利用子查询（延迟关联）优化分页查询
x²＋(y－√³x²)²＝1的博客
06-17 736
通常会有一些起点巨大的分页查询，效率低下，例如： select * from tab where create_date>'2018-12-20 13:20:10' and create_date<'2019-05-01 14:00:00' order by id limit 328000,10; 假设 tab 是一个数据量非常大的表，且满足条件 create_date>'2018-12-20 13:20:10' and create_date<'2019-05-01
优化limit分页（延迟关联）
wang_wxd的博客
11-14 1529
MYSQL limit分页优化
MySQL使用注意事项
laoma_8888的博客
11-30 586
(一)建表规约1.【强制】表达是与否概念的字段，必须使用 is_xxx的方式命名，数据类型是 unsigned tinyint（ 1表示是，0表示否），此规则同样适用于 odps建表。 说明：任何字段如果为非负数，必须是 unsigned。 个人备注： Open Data Processing Service， 简称ODPS；是由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的
MySQL性能优化之 延迟关联
很多时候，你缺少的不是知识而是热情
06-01 2097
【背景】   某业务数据库load 报警异常，cpu usr 达到30-40 ，居高不下。使用工具查看数据库正在执行的sql ，排在前面的大部分是： SELECT id, cu_id, name, info, biz_type, gmt_create, gmt_modified,start_time, end_time, market_type, back_leaf_categ
MySQL 索引及优化实战(转载自蒲苇 CSDN技术头条)
z875710239的博客
03-27 1293
索引概念和作用索引是一种使记录有序化的技术，它可以指定按某列/某几列预先排序，从而大大提高查询速度（类似于汉语词典中按照拼音或者笔画查找）。索引的主要作用是加快数据查找速度，提高数据库的性能。MySQL 索引类型从物理存储角度上，索引可以分为聚集索引和非聚集索引。1. 聚集索引（Clustered Index）聚集索引决定数据在磁盘上的物理排序，一个表只能有一个聚集索引。2. 非聚集索引（Non-...
延迟关联优化SQL一例
FaN()
03-30 1070
昨日下午和今日凌晨出现较多告警 经排查发现时又下面SQL导致 SELECT * FROM pre_forum_post ORDER BY pid ASC LIMIT 7332000,1000 Limit愈来愈大,导致走全表扫描加文件排序 root@localhost 10:23: [forum_longtugamev2_db]&gt; explain SELECT * F...
mysql延迟关联
free361的博客
12-21 789
所谓延迟关联，就是本来通过一个比较耗时的条件搜索到全部数据的sql，分解为先通过该条件搜索到对应id，再用id内联原表取得所有字段值 例1：使用延迟关联方式，比直接搜索快一倍多 select * from house_rent where c_datetime>'2013-06-08' and title like "%宣庆街%"(共 25 行, 查询花费 0.1435 秒) id   se
海量数据查询与分页优化实践：MS SQL Server案例
"本文主要探讨了在海量数据库中进行查询优化和实现高效分页的策略，以‘办公自动化’系统中的MS SQL Server数据库为例，针对1000万条数据的处理进行了具体分析。文中首先介绍了公安信息化背景下，数据库规模急剧增长...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值