MaxCompute - ODPS重装上阵　第七弹 - Grouping Set, Cube and Rollup

最新推荐文章于 2023-09-12 17:16:49 发布
最新推荐文章于 2023-09-12 17:16:49 发布
阅读量832 收藏
点赞数
文章标签： windows SQL MaxCompute
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43970890/article/details/103890358
版权
MaxCompute通过GROUPING SETS、CUBE和ROLLUP提供了更强大的分组功能，简化多维度聚合分析的SQL编写，提高了执行效率。GROUPING SETS避免了使用多个SELECT和UNION ALL，CUBE生成所有列组合，ROLLUP按层级聚合。GROUPING和GROUPING_ID函数帮助区分数据中的NULL和占位符NULL。注意，CUBE操作在列数量过多时可能导致资源消耗增加。
摘要由CSDN通过智能技术生成

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。

MaxCompute基于ODPS2.0新一代的SQL引擎，显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出MaxCompute(ODPS2.0)重装上阵系列文章

第六弹向您介绍了User Defined Type，本篇将向您介绍MaxCompute对GROUPING SETS的支持。

场景

由于业务需求，需要经常对数据进行多维度的聚合分析，如既需要对a列做聚合也要对b列做聚合，同时也要按照a、b两列同时做聚合，所以，不得不写很多很多的UNION ALL，因

最低0.47元/天 解锁文章
阿里云技术
关注
MaxCompute - ODPS重装上阵　第五弹 - SELECT TRANSFORM
阿里云云栖号
09-12 1080
MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。 MaxCompute基于ODPS2.0新一代的SQL引擎，显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出Max...
Grouping set 学习
最新发布
weixin_41784087的博客
12-27 1287
2.1 cube特殊的，将指定列的所有可能组合作为，也可以与组合使用。--等效于以下语句。--等效于以下语句。( a, b ),( c, d ),( )2.2 rollup特殊的，以按层级聚合的方式产生，也可以与组合使用。--等效价于以下语句。--等效于以下语句。( a ),( )结果中使用NULL充当占位符，导致您会无法区分占位符NULL与数据中真正的NULL。grouping接受一个列名作为参数，如果结果对应行使用了参数列做聚合，返回0，此时意味着NULL来自输入数据。
hive中rollup、cube使用方法
TangYuG的博客
10-09 1370
当我们业务中需要根据多个维度或者多个粒度统计分析数据的时候，最笨的办法是多次group by 然后union all到一起，这个时候其实可以用rollup、cube来实现，当然要了解这两个函数的原理，如果觉得结果比我们想要的结果多一些，那可以通过grouping sets 灵活的设置分组字段。......
分布式系统MaxCompute/Hadoop日志分析与优化流程
Monkeyhou1992的博客
03-24 607
很久没有认真复盘一下，接着两年前的文章Hadoop性能优化概述-数据膨胀&数据倾斜系统性总结一下优化方案和如何从日志中分析性能卡点，同时方便自己加深印象0.0~我们在提交作业后，一般会分为4各阶段：（1）预处理阶段；（2）编译阶段；（3）执行阶段；（4）结果返回。其中，预处理阶段除了语法、调度配置与参数配置等出现问题外，一般不会成为卡点。我们重点关注复杂任务的编译、执行阶段的优化以及性能卡点。
Grouping Sets、CUBE、ROLLUP总结
Universe — Higher and farther
10-29 1429
目录 Grouping Sets CUBE and ROLLUP GROUPING和GROUPING_ID函数 Grouping Sets、CUBE 、ROLLUP 、LATERAL VIEW EXPLODE区别 Grouping Sets 对于经常需要对数据进行多维度的聚合分析的场景，您既需要对a列做聚合，也要对b列做聚合，同时要按照a，b两列同时做聚合，因此需要写很多UNION ALL。但使用Grouping Sets可以非常快速方便地解决此类问题。 MaxCompute中的Groupi.
MaxCompute - ODPS重装上阵 第十二弹 - PIVOT/UNPIVOT
阿里云云栖号
09-12 599
MaxCompute推出新语法 - PIVOT/UNPIVOT：通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列；通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求，简化了查询语句，提高了广大大数据开发者的生产力。
aliyun-maxcompute-data-collectors
05-13
阿里云MaxCompute数据收集器 该项目是一组bigdata插件，用于与aliyun maxcompute交换数据。 这些插件包含flume-plugin，kettle-plugin，ogg-plugin和odps-sqoop。 要求 JDK 1.6或更高版本 Apache Maven 3.x 建立...
阿里云javasdk源码-aliyun-odps-php-sdk:阿里云-odps-php-sdk
06-06
and php32 build doesn't include this type, so we have to use php 64bit version for running odps project. ----由于odps中的数据类型Bigint、Datetime的传输依赖于64位的长整型，而php默认只有64位版本才支持64...
ODPS-SQL多维度交叉的优化方法探究
kw-home
11-18 1444
一、背景 odps是阿里集团的大数据计算平台，odps-sql语法类似于hive。 最近做了一个***的需求，需求中用到了大量的维度交叉，等到需求实现后却发现新的问题——cube的交叉维度太多了（最初有17个），而且指标的计算逻辑比较复杂，造成数据加工太慢了，举例1天的增量表大概8个小时，需求中还有自然月和30天时间粒度的，根本没法实现，因此投入大量时间做了优化，最终结果：11个维度，1天表的加工时间是30分钟，7日表1个小时，30天表3个小时。 二、两种SQL方式 实现聚合查询有两种方式，一种是使
数仓CUBE操作术语备忘
Laurence的技术博客
11-06 3345
SLICE (切片) 将某一个（或多个）维度上的值锁定，只观察当这个维度取这个值时的情形，相当于将一个立方体做了一个切片。 DICE (切块） 将某一个（或多个）维度上的值固定在一个区间内，观察这个取值区间内cube的情形，相当于将一个立方体做了一个切块。 ROLL UP (上卷) 沿着某一个（或多个）维度进行聚合，观察聚合后其他维度上的汇总数据，相当于将一个立方体沿着某个维度压缩（聚合）在一起...
（odps）maxcompute 日志操作学习
dataastron的博客
09-10 3486
Logview Logview是MaxCompute Job提交后查看和Debug任务的工具。通过Logview可看到一个job的内容有： 任务的运行状态 任务的运行结果 任务的细节和每个步骤的进度 Job提交到MaxCompute后,会生成Logview的链接，用户可以直接在浏览器上打开Logview链接进入查看job信息，每个job的Logview页面
提高cube性能的一些方法（一）
aebe49167的博客
05-15 366
1. 尽量不要在Cube里放太detail的数据，这种需求首先考虑R3用ABAP解决，如果非要在BW，可以考虑在DSO出明细报表，在Cube出汇总报表，通过RRI接口调用明细报表。关于RRI，请看： http://help.sap.com/saphelp_sm32/helpdata/en/99/08629bd3e41d418530c6849df303c9/content.htm 2. ...
CUBE、ROLLUP 、COMPUTE 使用详解
HERO
06-13 600
用 CUBE 汇总数据CUBE 运算符生成的结果集是多维数据集。多维数据集是事实数据的扩展，事实数据即记录个别事件的数据。扩展建立在用户打算分析的列上。这些列被称为维。多维数据集是一个结果集，其中包含了各维度的所有可能组合的交叉表格。CUBE 运算符在 SELECT 语句的 GROUP BY 子句中指定。该语句的选择列表应包含维度列和聚合函数表达式。GROUP BY 应指定维度列和
ODPS 分组排序 筛选第一条数据
conquer的博客
08-21 2542
ODPS分组排序与普通SQL语法类似，可参考以下SQL SELECT * FROM ( SELECT err_code , chan , desc_cn , ROW_NUMBER() OVER (PARTITION BY err_code,chan ORDER BY err_code) AS rn FROM dim_yp_sms_error_code_format ) tmp WHERE rn =1; 根据err_code和chan分组排序，然后取分组排序后每组第一条数据。 my
postgresql 的 group by 之 grouping sets/rollup/cube
一名数据库爱好者的专栏
02-05 3518
postgresql 从 9.5 开始提供 rollup/cube/grouping sets 分组函数，使用起来更为方便,尤其时用sql直接出报表时，一个sql就把明细和汇总值全部搞定。 https://www.postgresql.org/docs/9.5/static/sql-select.html https://www.postgresql.org/docs/9.5/static/q
高级分组聚合grouping set 等价于group by+union all
qbm123456789的博客
07-16 1323
grouping set 与group by配合使用可更加灵活的对结果集进行分组，Grouping sets会对各个层级进行汇总，然后将各个层级的汇总值union all在一起，比单纯的group by + union all 效率要高 举个栗子 drop table employee; CREATE temporary TABLE employee ( name String, gender String, city String, depart
rollup函数（分组后对每组数据分别合计）
weixin_43915509的博客
06-02 4318
需求：sql通过分组查询后，对每组数据进行小计，然后对总的数据总计 rollup的作用： 用 ROLLUP 汇总数据，在生成包含小计和合计的报表时，ROLLUP 运算符很有用。 例子： SQL> select deptno,job,sum(sal) from emp group by deptno,job order by deptno; 2 单独使用分组查询 3 4 DEPTNO JOB SUM(SAL) 5 ------ --------- ---------- .
ODPS（MaxCompute）权威指南：从入门到精通
"odps（MaxCompute） 权威详尽说明帮助手册" MaxCompute，原名ODPS，是阿里巴巴集团推出的一种大数据处理平台，它提供了海量数据的存储和计算能力，广泛应用于数据仓库、数据分析以及机器学习等领域。本手册详细...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值