MySQL-超大分页处理-开发角度

最新推荐文章于 2024-06-28 14:24:12 发布
最新推荐文章于 2024-06-28 14:24:12 发布
阅读量911 收藏 1
点赞数
分类专栏： MySQL 文章标签： 数据库 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CodeDabaicai/article/details/112508944
版权

1、什么是超大分页

当一个表的行数大小达到百万及以上这种量级时候，毫无疑问产生超大分页

2、从数据库方面解决

  • 利于id进行子查询

3、从需求的角度

  • 减少这种请求，以及防止ID泄漏且连续被人恶意攻击.

4、主要措施

  • 解决超大分页，其实主要是靠缓存，可预测性的提前查到内容，缓存至redis等k-V数据库中，直接返回即可

5、《Java开发手册》参考

  • MySQL并不是跳过offset行，而是取offset+N行，然后舍弃前offset行，返回N行，当offset特别大的时候，效率就特别低下，要么控制返回的总页数，要么对超过特定阈值的页数进行SQL改写
  • 利用延迟关联或者子查询优化超多分页场景；先快速定位需要获取的 id 段，然后再关联
酱油瓶啤酒杯
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SpringBoot第27讲：SpringBoot集成MySQL - MyBatis 多个数据源
Jet_qi的博客
06-17 3503
本文是Springboot第27讲，主要讲解哪些场景会使用多个数据源以及哪些场景会需要多个数据源的动态切换呢？本文主要介绍上述场景及SpringBoot+MyBatis实现多个数据源的方案和示例
mybatis&Mysql分页查询，以及SQL_CALC_FOUND_ROWS与count(*) 性能对比
zzhongcy的专栏
01-11 1405
温故而知新，这里记录一下。
MySQL limit使用方法以及超大分页问题解决
09-09
主要给大家介绍了关于MySQL limit使用方法以及超大分页问题解决的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者使用MySQL具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
Mysql 超大分页怎么处理？
qq_33449977的博客
05-16 757
MySQL处理超大分页时遇到的问题类似，如果你请求查看结果集中的第几万甚至第几十万页数据，直接用传统的LIMIT offset, rows方法（比如跳过前100000行，取10行）会非常慢，因为它实际上是从头开始数，丢掉前面的100000行，再给你后面的数据。比如，记录下上次读到的是第100000条记录，下次查询时，直接说“从第100001条开始给我10条”，这样数据库就可以直接定位，不用从头开始数了。用这些方法，MySQL在面对超大分页时，就能更快地跳到你想要的那一页，不用再一页一页慢慢翻了。
MySQL高级-SQL优化-主键优化（页分裂&页合并）
最新发布
小丁的博客
06-28 440
MySQL高级-SQL优化-主键优化（页分裂&页合并）
MySQL超大分页处理，以及优化思路说明。
m0_56615376的博客
03-26 1172
MySQL超大分页处理，以及优化思路说明。
MySql 大数据查询优化方案和超大分页的处理方法
weixin_40725027的博客
02-23 2823
MySql 大数据查询优化方案 优化shema、sql语句+索引 第二加缓存、memcached、Redis 主从读复制、读写分离 垂直拆分，根据模块耦合度，将一个大的系统分为多个小系统，也就是分布式系统 水平切分，针对数据量大的表，这一步是最麻烦的，最能考验技术水平要选择一个合理的shardingkey 为了有好的查询效率，表结构也要改动，做一定的冗余，应用也要改动。sql 中尽量带shardingkey，将数据定位到限定的表上去查，而不是扫描全部的表； MySql 超大分页的处理
mysql快速生成百万条测试数据的方法
qq_30986969的博客
06-05 3257
转自：mysql快速生成百万条测试数据的方法 — 没那么简单的博客 有时候我们需要对大数据进行测试，本地一般没有那么多数据，就需要我们自己生成一些。下面会借助内存表的特点进行生成百万条测试数据。创建一个临时内存表, 做数据插入的时候会比较快些-- 创建一个临时内存表 DROP TABLE IF EXISTS `vote_record_memory`; CREATE TABLE `vote_rec...
Mysql高效分页
zsl10的专栏
01-17 983
前言通常针对mysql大数据量的查询采取“分页”策略，但是如果翻页到比较靠后的位置时查询将变得很慢，因为mysql将花费大量的时间来扫描需要丢弃的数据。基本分页技巧通常为了实现高效分页，通常情况下，需要在查询中WHERE条件列和排序列应用组合索引。 例如，建立索引a_b_c使得以下查询可以使用索引，提高查询效率： 1、字段排序ORDER BY a ORDER BY a,b ORDER BY a
mysql-主键设计
饮啖茶食个包
09-01 1081
文章目录mysql-主键设计1 主键定义2 主键设计原则总原则：根据数据库表的具体使用范围来决定采用不同的表主键定义。数据库设计的三大范式反范式主键的设计原则2.1 确保主键的无意义性2.2 采用整型主键2.3 减少主键的变动2.4 避免重复使用主键2.5 主键字段定义区分3 主键方案3.1 自增ID（1）性能消耗（2）资源消耗优点：缺点：3.2 UUID优点：缺点：3.3 ID物理主键+UUID...
三天学会MySQL -宋红康
sunqianLOL的博客
09-10 633
#如下是一个查询语句 -- 使用的是select ... from /* 这是多行注释 Java语言的分类： 1. 基本语法 2. oop 3. io \ 多线程 \ 网络编程 \ 反射 \ 集合 等 SQL的分类： DML : INSERT \ DELETE \ UPDATE \ SELECT DDL : CREATE \ ALTER \ DROP \ RENAME \ TRUNCATE DCL : COMMIT \ ROLLBACK \ GRANT \ REVOKE \ SAVEPOINT
2024年MySQL 数据库中百万级数据量，大神是如何分页查询？，java高级工程师面试宝典
2401_84584628的博客
05-06 686
切莫死记硬背，小心面试官直接让你出门右拐1000道互联网Java面试题：
Mysql 超大分页处理
ChinaLiaoTian的博客
07-07 1764
超大的分页一般从两个方向上来解决： 从需求的角度减少这种请求，主要是不做类似的需求（直接跳转到几百万页之后的具体某一页，只允许逐页查看或者按照给定的路线走，这样可预测，可缓存），以及防止ID泄漏且连续被人恶意攻击。该方案下解决超大分页，其实主要是靠缓存，可预测性的提前查到内容，缓存至 redis 等 k-V 数据库中，直接返回即可。 数据库层面，这也是我们主要集中关注的（虽然收效没那么大），类似于 select * from table where age > 20 limit 1000000,10
MySQL的超大分页处理
weixin_66303644的博客
09-04 801
先分页查询数据的id字段，确定了id之后，再用子查询来过滤，只查询这个id列表的数据就可以了，因为查询id的时候，走的覆盖索引，所以效率可以提升很多。如果按照二级索引查询数据的时候，返回的列中没有创建索引，有可能会触发回表查询，尽量避免使用select * ，尽量在返回的列中都包含添加索引的字段。，在返回的列中，必须在索引中全部能够找到，如果我们使用id查询，它会直接走聚集索引查询，一次索引扫描，直接返回数据，性能高。，从而完成复杂查询的一种编写形式。，并且需要对数据进行排序，这时候效率就很低，我们可以。
数据库面试题【十三、超大分页怎么处理】
红目香薰
03-01 1027
超大的分页一般从两个方向上来解决. 数据库层面,这也是我们主要集中关注的(虽然收效没那么大),类似于select * from table where age > 20 limit 1000000,10这种查询其实也是有可以优化的余地的. 这条语句需要load1000000数据然后基本上全部丢弃,只取10条当然比较慢. 当时我们可以修改为select * from table where id in (select id from table where age > 20 limit 1000
MySQL中的超大分页如何处理
weixin_51453935的博客
08-12 283
这两条SQL的查询所消耗的时间是不一样的，后者耗费的时间更多；因为需要先将90010条记录查出来排序，然后将前面的90000条记录去除，最后将剩下的10条记录返回。先通过子查询的覆盖索引不需要回表将10条id记录筛选出来，然后主键id作为连表条件，不回表直接将数据返回。那么如何解决这种效率问题呢？
超大分页怎么处理?
学亮编程手记
01-16 500
的方式进行分页会随着offset值的增大导致查询性能急剧下降。这是因为数据库需要扫描从第一条记录开始跳过大量的行才能达到指定的偏移量（OFFSET），这对于数据库来说是非常低效的操作。综合以上策略，应根据具体业务场景选择最适合的方法来解决超大分页带来的性能问题。处理MySQL超大分页的问题，通常是因为当数据量非常庞大时，直接使用。
超大分页怎么处理？
qq_33240556的博客
01-17 394
1、这条语句需要load1000000数据然后只取10条，其他全部丢弃,当然比较慢. 我们可以修改为select * from table where id in (select id from table where age> 20 limit 1000000,10).这样虽然也load了一百万的数据,但是由于索引覆盖,要查询的所有字段都在索引中,所以速度会很快.主要是不做类似的需，只允许逐页查看或者按照给定的路线走。在阿里巴巴《Java开发手册》中,对超大分页的解决办法是类似于上面提到的第一种。
MySQL优化--覆盖索引，超大分页查询
qq_53868937的博客
06-18 1625
覆盖索引是指select查询语句使用了索引，在返回的列，必须在索引中全部能够找到，如果我们使用id查询，它会直接走聚集索引查询，一次索引扫 描，直接返回数据，性能高。：嗯，超大分页一般都是在数据量比较大时，我们使用了limit分页查 询，并且需要对数据进行排序，这个时候效率就很低，我们可以采用覆盖索 引和子查询来解决先分页查询数据的id字段，确定了id之后，再用子查询来过滤，只查询这个 id列表中的数据就可以了 因为查询id的时候，走的覆盖索引，所以效率可以提升很多。因为，当在进行分页查询时，如果执行。
mysql超大分页怎么处理
07-09
对于 MySQL 的超大分页处理，可以采取以下几种方法： 1. 使用主键范围分页：利用主键索引进行分页，每次查询指定范围的主键值，然后根据这些主键值再查询对应的数据。这样可以避免全表扫描，提高查询效率。 2. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值