数仓工具—Hive语法之grouping sets(5)

最新推荐文章于 2024-07-15 08:15:56 发布
最新推荐文章于 2024-07-15 08:15:56 发布
阅读量6.4w 收藏 17
点赞数 7
分类专栏： Hive 实战 文章标签： 大数据 hive 数据仓库 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/112063657
版权
本文介绍了Hive中的GROUPING SETS语法，用于进行多维度的数据分组统计。GROUPING SETS可以将多个GROUP BY逻辑合并，简化SQL语句。文章通过实例演示了GROUPING SETS的使用，解释了其实现原理，以及如何处理GROUPING_ID字段，展示了如何利用此功能进行数据聚合和维度上卷，并讨论了其在SQL查询性能方面的影响。
摘要由CSDN通过智能技术生成

GROUPING SETS

先说一下背景，我么知道GROUP BY 可以进行数据分组统计，我们将分组称之为统计的维度，例如 GROUP BY school 我们认为维度是学校，GROUP BY 也支持多个字段进行分组统计，例如GROUP BY school,grade 我们的维度就是 学校+年级 的组合，虽然是组合还是单维度的，组合在一起就一个依然是单个维度，因为统计出来的数据你只能得到每个学校的每个年级的信息，你得不到学校的单独统计信息也得不到年级的单独统计信息

学校名称	年级	学生数
清华小学  6			1000
北大小学  6			1300
北大小学  5			1600
南京小学  5     500
	............

就像上面的统计信息，如果你不做二次统计的话，你不能得到整个清华小学有多少人，你也得不到整个6年级有多少人

这就是我们说的维度，因为GROUP BY的维度是单一的，就是它只能计算某个维度的信息，而不能同时计算多个维度，在一个GROUPING SETS 查询中，根据不同的单维度组合进行聚合，等价于将不同维度的GROUP BY结果进行UNION ALL操作。

GROUPING SETS就是一种将多个GROUP BY逻辑UNION写在一个H

了解本专栏 订阅专栏 解锁全文 超级会员免费看
不二人生
关注
专栏目录
订阅专栏
数仓工具—Hive语法之cube和rollup(6)
01-01 6万+
- grouping sets可以自由组合实现，也就是按照我们的定义进行任意维度的汇总 - cube 可以看做是grouping sets的特殊情况，那就是维度是group by字段的全部组合 - rollup 可以看做是cube子集合，去掉维度中左边字段是null,但是右边字段不是null 的情况
hive常用语法及练习题
weixin_41347226的博客
06-03 885
hive常用语法及练习题
GROUPING SETS、ROLLUP、CUBE
千里之行始于足下
01-15 1万+
----start     大家对GROUP BY应该比较熟悉，如果你感觉自己并不完全理解GROUP BY，那么本文不适合你。还记得当初学习SQL的时候，总是理解不了GROUP BY的作用，经过好长时间才终于明白GROUP BY的真谛。当然，这和我本人笨也有关系，但是GROUP BY的确不好理解。本文将介绍DB2 GROUPING SETS、ROLLUP、CUBE的使用方法，这些关键字比GROU
Grouping Sets语句知识讲解
最新发布
qq_38140936的博客
07-15 1177
SQL 中Group By语句大家都很熟悉，根据指定的规则对数据进行分组，常常和聚合函数一起使用。比如，考虑有表dealerid (Int)100Fremont10100Fremont15100FremontHonda CRV7200Dublin20200Dublin10200DublinHonda CRV3300San Jose5300San Jose8如果执行 SQL 语句|100| 32||200| 33||300| 13|
hive GROUPING SETS用法
kuangzhi9124的博客
05-27 454
最近学了一个hive中新的窗口函数，就是GROUPING sets，这个函数呢，相当于union all的简化写法，自己组合想要的列进行group by，这话说的可能不那么通俗，那就看看代码实现的效果吧！ select A, B, C, GROUPING__ID, count(D) as cnts from t0 group by A,B,C grouping sets ((A,B),(A,C)) 这是第一段，将A、B、C字段两两组合然后group by 计算，接下来，你需要看一下两两组合对应的GR
【Hive】多维函数 『grouping sets() | with cube | with rollup 』
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
12-12 3935
1. 语法 2. 例子
Hive - grouping sets 示例与详解
BITDDD小栈
05-05 3650
介绍 group by 以及 grouping sets 相关用法。
hive中cube, grouping sets, grouping__id应用
Brad_Q1的博客
07-16 1009
hive 中grouping sets, grouping__id以及cube的具体应用及案例
presto和hive中grouping sets的格式不一致问题
qq_43389032的博客
08-11 1821
遇到的问题,在presto中使用hive中的grouping sets报错。
使用groupingsets函数优化数仓离线计算性能表现、原理分析及避坑指南
a80090023的专栏
02-28 2146
1.上线该优化后任务性能表现 任务执行时长： 任务一：该任务为wps_android国内应用的天任务耗时截图，执行时长缩短3-4倍。该任务是天任务中最长的任务，也就是说以现在的任务流程部署情况，整体天任务执行时长缩短3倍以上。 任务二：该任务为国内应用的周任务耗时截图，执行时长缩短3-4倍。 任务三：该任务为数仓单个子任务中耗时最长的任务（30天活跃任务），执行时间缩短5-6倍。其中任务的执行时间包括执行hive sql查询的时间+数据写入RDS的时间。 任务四：该任务为数仓月任务..
hive中grouping sets
u011500419的专栏
04-11 1664
hive中grouping sets 数量较多时如何处理? 可以使用如下设置来 sethive.new.job.grouping.set.cardinality=30; 这条设置的意义在于告知解释器，group by之前，每条数据复制量在30份以内。 grouping sets是一种将多个group by 逻辑写在一个sql语句中的便利写法。 demo： sele...
Hive.GROUPING SETS的“陷阱”
辰采星
04-06 8578
HQL查询中，对GROUPING SETS出来的数据与其它数据进行连接操作时，需要小心处理数据过滤的问题。而且，需要注意的还有，grouping__id这个函数的返回值不是整型，是字符串。
hive性能调优详解系列之hive语法和参数层面调优_数仓工程师必备hive调优方案
老姜的数据江湖
10-27 1814
hive作为数仓工程师必不可缺少的计算组件，在工作中经常遇到一些调优问题，本篇文章是hive性能调优详解系列之第二篇hive语法层面调优。上一篇可点击hive建表设计层面调优 一.hive语法层面和参数调优 hive语法和参数调优将是hive调优一大重点，并能间接解决数据倾斜问题，同事提升运行效率也是重中之重。 1.1查看hive执行计划 Hive的SQL语句在执行之前需要将SQL语句转换成MapReduce任务，因此需要了解具体的转换过 程，可以在SQL语句中输入如下命令查看具体的执行计划。 ##查看执
Hive03---Hive中的Grouping Sets用法
此心安处是吾乡
08-20 407
  统计报表中，通常会有多个维度组合，对应一个指标的情况，如指标-DAU，维度可能是{(APP)，(APP、终端)，(APP、版本号)}等等。如果每一种维度组合都建一张表，开发需要维护多个结果表，增加开发成本；也可以把不同的维度组合UNION ALL，这样ETL的脚本比较臃肿。Grouping Sets可以解决这个问题。   假设有一张用户埋点日志表： app appver form os...
hive grouping sets 等聚合函数
weixin_30947043的博客
02-12 219
函数说明： grouping sets 在一个 group by 查询中，根据不同的维度组合进行聚合，等价于将不同维度的 group by 结果集进行 union allcube 根据 group by 的维度的所有组合进行聚合rollup 是 cube 的子集，以最左侧的维度为主，从该维度进行层级聚合。 -- grouping sets select orde...
数仓工具—Hive语法之行列转换(18)
热门推荐
07-12 6万+
今天我们看一个比较常见的计算场景，行列互换，又时候有称之为行列互转 **行专列** 把多行数据转换成多列数据 **列转行** 把多列数据转成多行数据 . 行转列除了我们使用的**汇总函数+if** 之外还可以使用**统计函数+case when** 2. 其实很多人对行转列和列转行搞不清楚，多行变成一行的就是行转列，因为多行变成了多列，一行变成多行的就是列转行，因为多列变成了多行 3. 列转行的时候请使用union all 而不是union，因为这里不需要去重
Hive中数据去重的办法
HZAOLICHENG的博客
03-21 1036
数据量小的时候无所谓，数据量大的情况下，由于COUNT DISTINCT操作需要用一个Reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般COUNT DISTINCT使用先GROUP BY再COUNT的方式替换：方法一: select name,count(distinct(related_id)) from emp group by name; ...
hive中grouping sets 用法
05-30
在Hive中，GROUPING SETS是一种聚合操作，它可以同时对多个维度进行分组聚合，而不需要使用多个GROUP BY子句。使用GROUPING SETS可以极大地简化SQL语句的编写，并提高查询性能。以下是一个使用GROUPING SETS的示例：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值