hive中grouping sets

hive中grouping sets 数量较多时如何处理? 

可以使用如下设置来

set hive.new.job.grouping.set.cardinality = 30;

这条设置的意义在于告知解释器，group by之前，每条数据复制量在30份以内。

 

grouping sets是一种将多个group by 逻辑写在一个sql语句中的便利写法。

 

demo：

select
    A,
    B,
    C,
    group_id, 
    count(A)
from
    tableName
group by  --declare columns
    A,
    B,
    C
grouping sets
(
   (A,C),
   (A,B),
   (B,C),
   (C)
)

其中grouping sets中的(A,C),   (A,B),   (B,C),   (C) 代表4个group by 组合， 相当于写了四个sql查询语句使用了四个不同的group by策略。

group_id是为了区分每条输出结果是属于哪一个group by的数据。它是根据group by后面声明的顺序字段是否存在于当前group by中的一个二进制位组合数据。 比如（A,C）的group_id： group_id(A,C) = grouping(A)+grouping(B)+grouping (C) 的结果就是：二进制：101 也就是5.

select中的字段是完整的A,B,C，但是我们知道由于group by的存在，select 字段本不应该出现非group by字段的，所以这里我们要特别说明，如果解释器发现group by A,C 但是select A,B,C 那么运行时会将所有from 表取出的结果复制一份，B都置为null，也就是在结果中，B都为null。

=========================================================================================

自从Hive 0.10.0版本起，Hive增加了Grouping Sets、Cube、rollup操作和Grouping_ID函数。

1、Grouping Sets
可以在Group By语句后面添加Grouping Sets语句，以实现对同一个数据集上同时进行多组的group by操作。可以理解为多个group by 语句进行union操作。可以参考下面的例子：

2、Grouping_ID函数
因为Grouping sets相当于多个group by的结果进行union操作，规则是：结果中没有参与group by的列值为NULL，参与group by的列的值为group by的值。但是有些参与group by的数据本身就是Null，那么就分不清了。

这个时候，grouping_id函数就可以标识出哪个字段参与了group by，组织一个二进制的序列，一一对应group by语句后面的各个字段，在Hive2.3.0之前的版本中，如果这个字段参与了group by ，那么对应的位置是0，没有参与group by 的字段相应位置为1。grouping_id函数的返回值就是这个二进制序列对应的十进制数。

在Hive2.3.0和之后的版本中，0和1的规则是相反的。