HIVE Group by

本文介绍了HIVE的group by操作,包括如何在map端提高效率,GROUPING SETS的使用,以及Cube和Rollup的概念。同时,针对group by中null值的问题,文章详细解释了GROUPING__ID的作用和使用方法,帮助读者理解如何通过GROUPING__ID来标识不同的聚合结果。
摘要由CSDN通过智能技术生成

#HIVE Group by

怎么使用group by这里不做过多介绍。

控制在map端进行第一阶段的聚合,这种方法效率会比较高,但是可能需要更多的内存。

set hive.map.aggr=true;

##GROUPING SETS

GROUPING SETS 是对普通group by的增强,允许用户指定多个需要group by的选项,GROUPING SETS的结果可以理解成多个group by结果进行union操作,但是要知道并不是这样运行的。

SELECT a, b, SUM( c ) FROM tab1 GROUP BY a, b GROUPING SETS ( (a, b), a, b, ( ) );
结果等价于:
SELECT a, b, SUM( c ) FROM tab1 GROUP BY a, b

UNION

SELECT a, null, SUM( c ) FROM tab1 GROUP BY a, null

UNION

SELECT null, b, SUM( c ) FROM tab1 GROUP BY null, b

UNION

SELECT null, null, SUM( c ) FROM tab1

##Cube and Rollup
Cube和 Rollup是对特殊GROUPING SETS的一种简写,在数据分析领域是常用的概念,hive中使用WITH CUBE/ROLLUP语句。

GROUP BY a, b, c WITH CUBE
等价于
GROUP BY a, b, c GROUPING SETS ( (a, b, c), (a, b), (b, c), (a, c), (a), (b), (c), ( )).

GROUP BY a, b, c, WITH ROLLUP
等价于
GROUP BY a, b, c GROUPING SETS ( (a, 
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值