HIVE Group by

最新推荐文章于 2024-04-14 15:03:29 发布

_final__

最新推荐文章于 2024-04-14 15:03:29 发布

阅读量622

点赞数

分类专栏： hive 文章标签： hive group by

本文链接：https://blog.csdn.net/mhtian2015/article/details/79103547

版权

本文介绍了HIVE的group by操作，包括如何在map端提高效率，GROUPING SETS的使用，以及Cube和Rollup的概念。同时，针对group by中null值的问题，文章详细解释了GROUPING__ID的作用和使用方法，帮助读者理解如何通过GROUPING__ID来标识不同的聚合结果。

摘要由CSDN通过智能技术生成

#HIVE Group by

怎么使用group by这里不做过多介绍。

控制在map端进行第一阶段的聚合，这种方法效率会比较高，但是可能需要更多的内存。

set hive.map.aggr=true;

##GROUPING SETS

GROUPING SETS 是对普通group by的增强，允许用户指定多个需要group by的选项，GROUPING SETS的结果可以理解成多个group by结果进行union操作，但是要知道并不是这样运行的。

SELECT a, b, SUM( c ) FROM tab1 GROUP BY a, b GROUPING SETS ( (a, b), a, b, ( ) )；
结果等价于：
SELECT a, b, SUM( c ) FROM tab1 GROUP BY a, b

UNION

SELECT a, null, SUM( c ) FROM tab1 GROUP BY a, null

UNION

SELECT null, b, SUM( c ) FROM tab1 GROUP BY null, b

UNION

SELECT null, null, SUM( c ) FROM tab1

##Cube and Rollup
Cube和 Rollup是对特殊GROUPING SETS的一种简写，在数据分析领域是常用的概念，hive中使用WITH CUBE/ROLLUP语句。

GROUP BY a, b, c WITH CUBE
等价于
GROUP BY a, b, c GROUPING SETS ( (a, b, c), (a, b), (b, c), (a, c), (a), (b), (c), ( )).

GROUP BY a, b, c, WITH ROLLUP
等价于
GROUP BY a, b, c GROUPING SETS ( (a,