大数据量实时统计排序分页查询 优化总结

最新推荐文章于 2024-07-24 18:52:22 发布
最新推荐文章于 2024-07-24 18:52:22 发布
阅读量8.4k 收藏 7
点赞数
分类专栏： 后台相关技术 文章标签： 大数据 分页 优化 java 排序
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mawenshu316143866/article/details/73565024
版权
本文总结了大数据量实时统计排序分页查询的优化方法，包括化整为零（分表或冗余字段）、并发查询和两步查询策略。通过限制并发数和优化查询步骤，显著提高了查询效率，将原本慢速的SQL转换为快速执行的多个小SQL。此外，还讨论了解决并行查询时排序稳定性和资源限流的问题。
摘要由CSDN通过智能技术生成

大数据量实时统计排序分页查询 (并发数较小时)  的瓶颈不是函数（count，sum等）执行，

不是having, 也不是order by，甚至不是表join, 导致慢的原因就在于“数据量太大本身”

  1. 化整为零

就是将表划分为M份相互独立的部分,可以是分表，也可以是不分表但冗余一个取模结果字段

实际结果是不分表比分表更加灵活，只需稍加配置，就可以动态切分大表，随意更改M的大小。

 

将1条慢sql（大于30秒）拆分成为N条查询速度巨快的sql(单条sql执行时间控制在20毫秒以内)

然后再web应用中以适当的线程数去并发查询这些执行时间快的N条小sql再汇总结果

 

  1. 两步查询

第一步查询中去并发执行这N条小sql, 只取排序字段和标识字段，其他字段一律丢弃

汇总结果后定位出当前页面要显示的pageNum条数据，再进行第二步查询，取出页面上需要展示的所有字段

最低0.47元/天 解锁文章
young5201314
关注
专栏目录
MyBatis分页查询原理——如何使用MyBatis的分页插件对分页查询进行优化。
程序员光剑
07-28 1534
1.1 概述MyBatis 是一款优秀的持久层框架，它支持使用简单的 XML 或注解配置形式来实现对数据库的访问，MyBatis 免除了几乎所有的 JDBC 代码和参数的手工设定， 并用mybatis提供的XML映射文件来代替原始的SQL语句。MyBatis通过控制反转（IoC）和依赖注入（DI）功能完美地实现了ORM框架。2.相关概念分页：分页指将数据分成多块，每一块显示给用户，用户只可以看到自己需要的一部分。分页最主要的目的是为了防止数据量过大导致页面加载缓慢，提高用户体验。
mysql中count关联查询优化_64MySQL-分页查询&表连接&count统计&索引优化总结
weixin_36076151的博客
01-19 1652
1 Mysql 分页查询sql 执行原理？2，千万级数据mysql 分页查询如何优化3，Mysql表连接底层实现原理·4，nested_Loop Join(NLJ)与Block Nested-Loop(BNL)连表算法的区别5，in/exist/count(*)count(1) count(列名)查询优化6，EXPLAIN 分析sql语句 type 最低满足什么级别7，为什么阿里巴巴官方手册不...
大数据量+高并发的数据库SQL优化
06-13
大数据量+高并发的数据库SQL优化
大数据量实时统计排序分页查询(并发数较小时)的几点建议
anmuxf7123的博客
01-15 833
下面有几条根据卖家监控页面的优化得出的最佳实践，欢迎拍砖 大数据量实时统计排序分页查询的瓶颈不是函数（count，sum等）执行， 不是having, 也不是order by，甚至不是表join, 导致慢的原因就在于“数据量太大本身” 化整为零 就是将表划分为M份相互独立的部分,可以是分表，也可以是不分表但冗余一个取模结果字段 实际结果是不分表比分表更加灵活...
巨量数据表分页问题
最新发布
xdpcxq的专栏
07-24 948
通过实施上述策略，你可以显著提高数据库分页的性能，尤其是在处理大量数据时，每种方法都有其适用场景，因此我们需要根据具体需求和数据库环境来选择合适的优化策略。
大数据量下的分页
carper的专栏
05-24 3130
  大数据量下的分页    对于非常大的数据模型而言，分页检索时，每次都加载整个数据源非常浪费。通常的选择是检索页面大小的块区的数据，而非检索所有的数据，然后单步执行当前行。    本文演示ASP.net的DataGrid和Sql Server 实现大数据量下的分页，为了便于实现演示，数据表采用了Northwind数据库的Orders表（830条记录）。    如果数据表中有唯一的
PHP排序大数据量分页
奔跑吧笨笨的博客
05-23 8288
大数据量分页，除了使用mysql的order by  排序，也可以使用php排序，来实现业务。代码：使用到的函数   usort、array_slice   public function getPage(int $pageSize, int $offset){ $sql = 'select scores,count(id) as num from org_share grou...
oracle单表数据量大怎么优化_大数据量多维度报表统计的SQL优化方法
weixin_39705193的博客
12-05 1691
在短视频项目开发中曾经遇到过一个SQL优化的问题，SQL是实现多维报表的统计，有8个维度，有曝光、点击、播放几种行为的pv、uv统计，此类需求也比较常见。 需求如下： 需求有9个维度，报表是每天统计，日期等于统计周期，常量，可以不考虑，剩下还有8个维度(国家、系统、版本、用户类型、实验名称、实验分组、行为入口、是否点击push)。...
MySQL大数据量的分页查询优化
桐花思雨
08-16 1927
目录背景数据准备 背景 随着业务发展越来越快，原来的数据库数据从几万突破到几百万，分页的查询策略是否需要调整一下？ 数据准备 1、表名：order_history 2、描述：某个业务的订单历史表 3、主要字段：unsigned int id，tinyint(4) int type 4、字段情况：该表一共 37 个字段，不包含 text 等大型数据，最大为 varchar(500)，id 字段为索引，且为递增 5、数据量：5709294 6、MySQL 版本：5.7.16 ...
大数据量翻页查询的一点经验
07-18
总结起来，大数据量翻页查询的优化涉及到数据库设计、索引策略、查询优化、缓存技术以及用户界面的交互设计等多个方面。根据具体业务场景和需求，综合运用上述方法可以有效地提升查询性能，提供流畅的用户体验。同时...
MySQL单表百万数据记录分页性能优化技巧
12-15
MySQL数据库在处理大规模数据分页查询时，性能优化是一个关键问题。当单表记录数达到百万级别时，传统的`LIMIT`分页方式可能会导致查询效率显著下降，特别是当页码较大时，性能瓶颈更为明显。本文将探讨针对这种情况...
实时两亿条数据做统计_Tablestore + Blink实战：交易数据的实时统计
weixin_39639568的博客
01-28 273
背景交易数据的实时统计是电商网站一个核心功能，可以帮助用户实时统计网站的整体销售情况，快速验证“新销售策略”的效果。我们今天介绍一个基于表格存储(Tablestore)实现交易数据的实时计算，给大家提供一个新使用方式。Tablestore作为在线的结构化数据库，提供了毫秒级的访问延时和丰富的查询方式，能高效的支撑交易数据的存储和查询，同时Tablestore已经原生支持阿里云的流计算框架Flink...
数据库分页与统计优化
qq_41590014的博客
02-25 200
数据库分页与统计优化 相信大家对分页的需求都很高，很多时候想到分页的需求都是想到框架，今天我们来手写一个简单的分页优化方案。 这是前段需要的数据，这里面有分页后的数据而且还要有总条目， 上代码 SELECT * FROM ( SELECT * FROM `upload_file` AS `upi` ORDER BY(`upi`.`upload_timestamp`) DESC LIMIT 0,3 ) AS t1 , (SELECT count(`up`.`upload_id`) AS sum FR
解决大数据量的查询优化
weixin_30332241的博客
04-30 228
增加索引 分表 分库 主从分离（读写分离） 转载于:https://www.cnblogs.com/tanfuchao/p/8973585.html
大数据量（千万级）查询优化实践经验
qq359593234的专栏
09-01 756
首先，一个表数据超过8千万条，而且还在以每5分钟5000条记录（不一定就是5000）增加中。 其次，该表有个字段有记录了时间。 再次，该表拥有80几个字段。 需求是：80几个字段中，要求查出50个字段，而且要求分页显示。根据需求写出的sql(样品语句)如下： [code="sql"] select * from ((select t1.*, rownum t1rownum ...
大数据量性能优化之分页查询
JavaEdge全是干货的技术号
06-26 5819
刷帖子翻页需要分页查询，搜索商品也需分页查询。当遇到上千万、上亿数据量，怎么快速拉取全量数据呢？ 比如： 大商家拉取每月千万级别的订单数量到自己独立的ISV做财务统计 拥有百万千万粉丝的大v，给全部粉丝推送消息 案例 常见错误写法 SELECT * FROM table where kid = 1342 and type = 1 order id asc limit 149420,20; 典型的排序+分页查询： order by col limit N,OFFSET M MySQL 执行此类SQ
数据量不断增大的几种简单的优化方案
weixin_46120888的博客
03-11 2991
1.需求分析 有这样一个需求做一个类似于资产的查询统计，并且可以通过条件进行查询。这里面涉及到的一共有两张表一个是委托表我们称之为WeiTuo，一个表是成交表我们称之为ChengJiao。 我们看一下这个两张表的字段 create table WeiTuo ( wei_tuo_id bigint auto_increment primary key, link_account varchar(255)
数据量很大，分页查询很慢，推荐个优化方案！
程序员小乐
02-27 1292
点击上方 "编程技术圈"关注,星标或置顶一起成长后台回复“大礼包”有惊喜礼包！每日英文Nothing is impossible for a willing heart....
SQL Server大数据量查询与分页优化实践
随着数据量的急剧增长，处理海量数据的效率成为了一个核心问题。SQL Server作为广泛使用的数据库管理系统，面对百万乃至千万级别的数据时，其性能优化显得尤为关键。本文将聚焦于SQL Server中的查询优化和分页算法，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值