0113针对大数据量SUM的优化-思路

最新推荐文章于 2024-05-23 17:32:38 发布
最新推荐文章于 2024-05-23 17:32:38 发布
阅读量375 收藏
点赞数
文章标签： 大数据
原文链接：http://www.cnblogs.com/qcfeng/p/6282947.html
版权

转自博客：http://bbs.csdn.net/topics/390426801?page=1

优化思路：无论如何你的结果都是要扫描全有表记录，而在456010记录中，的UserName的分布导致这个索引根本无用！

常用的解决方案是事先把这个统计做好生产一张表。比如安排一个定时任务每 凌晨 01:00 am 来执行这个统计并且放入统计结果表，然后平时查询时就直接从统计结果表中得到结果即可。

 

特别感谢：http://my.csdn.net/ACMAIN_CHM

转载于:https://www.cnblogs.com/qcfeng/p/6282947.html

diaoti1933
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【思考】--慢sql治理/千万级数据量优化
寻梦友的博客
02-07 1306
目录一、前言二、sql语句优化三、索引优化3.1、建立并利用合理索引3.1.1、前缀索引3.1.2、全文索引3.2、避免索引失效而全表扫描【导致索引失效】四、表优化4.1、分区表----(事先预估就分区场景)4.2、分区表----(数据量暴涨后再考虑分区场景)4.3、同库分表----(事先预告就分表场景)4.4、同库分表----(数据量暴涨后再考虑分表场景)五、大数据平台方案六、具体实例梳理6.1、类似“用户userA点赞内容contentB的记录表”的场景6.2、类似“内容基本信息表”场景6.3、类似“订
时延情形下分布式Push-sum次梯度优化算法的研究
06-23
针对多个体系统在个体间进行信息交换时发生接收信息滞后,存在通信时延,影响优化算法的收敛速度的问题,提出一种时延情形下的分布式Push-sum次梯度优化算法,该方法在权矩阵不具有正对角线元素时仍适用,并应用系统扩维...
【大数据开发】MySQL数据库——聚合函数COUNT、SUM、MIN、MAXday25
白色风车
07-30 548
一、聚合函数——count() （1）count()只能算出非NULL的总数 （2）数值和NULL不能运算，统计结果记录总数会自动忽略存在NULL的记录。处理办法：使用IFNULL(字段名，值)，当字段上的值为NULL时，使用第二个参数指定的值。 如： 指定遇到NULL时会自动改为0。 二、给字段起别名 有两种方式： 起别名的结果: 不起别名的结果： 三、聚合函数——SUM() SUM()同样会忽略NULL，当然不写IFNULL也得到相同的结果 四、聚合函数——AVG() 若记录中含有NULL的值
Mysql大数据量查询优化的思路
Java全栈领域/离线地图/微服务
01-10 8094
项目场景： Mysql大表查询优化，理论上千万级别以下的数据量Mysql单表查询性能处理都是可以的。 问题描述： 在我们线上环境中，出现了mysql几千万级别的日志查询、几百万级别的黑名单库查询分页查询及条件查询都慢的问题，针对Mysql表优化做了一些优化处理。 原因分析： 首先说一下日志查询，在Mysql中如果索引加的比较合适，走索引情况下千万级别查询不会超过一秒，Mysql查询的速度和检索的数据条数有关。在Mybatis中，分页查询是先执行Count记录总数，再执行limit a,b 的方式来进行
Kettle--MySQL生产数据库千万、亿级数据量迁移方案及性能优化
m0_67401761的博客
07-29 2998
亿级以上数据量。
实战 2000w 数据大表的优化过程，提供三种解决方案
m0_71777195的博客
02-22 1257
当我们业务数据库表中的数据越来越多，如果你也和我遇到了以下类似场景，那让我们一起来解决这个问题数据的插入,查询时长较长后续业务需求的扩展 在表中新增字段 影响较大表中的数据并不是所有的都为有效数据 需求只查询时间区间内的。
sumit-bootstrap-boilerplate:具有大量插件集成功能的Bootstrap Boilerplate
05-06
欢迎来到Bootstrap样板！ Bootstrap Boilerplate是支持boostrap的发行版，具有JQuery，Datatables，MomentJS的依赖关系。
DistilBART-xsum-12-6 模型
04-01
DistilBART-xsum-12-6 模型
Sum_min.rar_SUM_min-sum
09-20
Sum min tong duong di
LSE.zip_LSE_SUM_log-sum
09-19
Log Sum exponential code is written for matlab
【仿RabbitMQ消息队列项目day2】使用muduo库中基于protobuf的应用层协议进行通信
weixin_74113106的博客
05-21 858
使用muduo库中基于protobuf的应用层协议进行通信
构建高效可靠的消息队列系统：设计与实现
喔的嘛呀的博客
05-19 1232
通过设置生产者发送的消息和队列本身的持久性，以及确保消息队列系统本身的持久性，我们可以在系统发生故障时保证消息不会丢失。这对于构建可靠、稳定的消息队列系统至关重要，特别是在面对复杂分布式系统的挑战时。通过采用异步消息传递、批量消息发送、选择高效的消息序列化方式以及配置消息队列的优化参数，我们可以有效降低消息传递的延迟，满足实时性的要求。在实际应用中，需要根据具体场景和需求进行更详细的优化和调整。
西南交通大学计算机考研难吗？西南交通大学计算机考研考情分析！
m0_72717598的博客
05-16 323
西南交通大学信息科学与技术学院成立于1985年（原计算机科学与工程系），学院下设五个系，即计算机科学与技术系，软件工程系，自动化系，通信工程系，电子信息工程系，20多年来，学院已培养出研究生700余名，本科生近5000名，毕业生遍布全国各地，其中不少已成为国内外知名专家、学者。创新精神和能力、专业兴趣和素养等。复试要对考生的既往学业情况、外语听说交流能力、专业素质和科研创新能力，以及综合素质和一贯表现等进行全面考查，主要考核内容包括思想政治素质和道德品质、外语听说能力、专业素质和能力、综合素质及能力。
分布式锁2-Zookeeper分布式锁实战
qq_43676797的博客
05-19 338
使用curator操作Zookeeper进行实战；：Apache Curator包含一套高级API框架和工具类，它 是Apache ZooKeeper 的Java 客户端库。
工作中的相关问题
m0_49099215的博客
05-21 295
工作总结
16. Elasticsearch面试题汇总
weixin_42173947的博客
05-20 780
16. Elasticsearch面试题汇总
python:大文件分批/块导入数据库方式记录
最新发布
积跬步，慕至千里的博客
05-23 311
对于数据文件比较大的数据，一次性串联sql进行入库，往往会受到数据库本身对sql长度的限制，从而需要分块或者分批次，将大数据文件一点一点的进行入库。特针对这种入库方式，进行一个简单记录，各类数据库入库后续均可参考下述实现分块的方式，进行分批入库数据。问题点其实主要是如何对数据进行分块。，从而实现分批入库。
Flume 的基本介绍和安装部署
weixin_44480009的博客
05-20 837
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的框架服务Flume 基于流式架构，灵活简单，能够实时读取服务器本地磁盘的数据，将数据写入到 HDFS。
Flink 流数据处理
IT深耕十余载，大道之简
05-17 333
Apache Flink 是一个用于流处理和批处理的开源平台，其核心是一个流式大数据处理引擎，执行的是数据流上的有状态计算。在流数据处理方面，Flink 提供了许多强大的功能和特点。总的来说，Flink 是一个功能强大的流数据处理引擎，它可以帮助你构建高效、可靠的实时数据流处理应用程序。
mysql 大数据量比对
08-02
大数据量比对是指在MySQL数据库中对大量数据进行比较的操作。在MySQL中，可以使用多种方法进行大数据量比对。 首先，可以使用SELECT语句结合WHERE子句来筛选需要比对的数据。例如，可以使用以下语句来选择uid为1的数据，并按照uid降序排列： SELECT * FROM table_name WHERE uid=1 ORDER BY uid DESC; 然后，可以使用mysql_fetch_array函数将查询结果存储为数组$data。可以使用foreach循环遍历数组$data，并输出其中的值。例如，可以使用以下代码连续输出三条记录： $data = mysql_fetch_array($sql); foreach($data as $key=>$val){ echo $val; } 如果只需要输出第三条记录，可以直接输出$data['2']。 另外，如果需要对大数据量进行计算，可以使用SUM函数来计算每秒的增加量。可以使用嵌套查询和GROUP BY子句来实现。例如，可以使用以下SQL语句来计算每秒的增加量： SELECT c.id, SUM(c.VALUE) AS value, DATE_FORMAT(c.time, "%Y-%m-%d %H:%i:00") AS time FROM ( SELECT b.id, (b.item_value - a.item_value) AS value, b.item_timestamp AS time FROM ( SELECT id, item_value, @num := @num + 1 AS row_number FROM ( SELECT @num := 0 ) r, ctc_etl.`1_1_1907/sum.out_2021` WHERE item_timestamp > "2021-12-01 00:00:00" AND item_timestamp < "2021-12-02 00:00:00" ORDER BY id ) a, ( SELECT id, item_value, item_timestamp, @num2 := @num2 + 1 AS row_number FROM ( SELECT @num2 := 0 ) r2, ctc_etl.`1_1_1907/sum.out_2021` WHERE item_timestamp > "2021-12-01 00:00:00" AND item_timestamp < "2021-12-02 00:00:00" ORDER BY id ) b WHERE a.row_number + 1 = b.row_number ) c WHERE c.VALUE > 0 GROUP BY DATE_FORMAT(c.time, "%Y-%m-%d %H:%i:00"); 这个查询语句会计算指定时间范围内每秒的增加量，并按照时间进行分组。 综上所述，以上是在MySQL中进行大数据量比对的一些方法和示例。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值