Hive-OLAP分析函数使用整理

Hive-OLAP分析函数使用整理

函数主要有四个:
1、grouping sets
2、grouping__id(注意:是两个下划线)
3、cube
4、rollup
【使用注意】
打开map端聚合:set hive.map.aggr=true

grouping sets

grouping sets 等价于 多个group by语句进行union

grouping__id

函数为每种聚合数据行生成唯一的组id、某一列参与了分组,对应位就被置为1,否则为0,用来区分查询结果中的null值是属于列本身的还是聚合的结果行
【简单例子】
grouping sets (id,amount,(id,amount),())
二进制关系:例如两个字段,
0,无字段参与,结果为数据行数 () 这个
1,第一个字段 与 同一个 null 左侧字段聚合
2,第二个字段 与 同一个 null 右侧字段聚合
3,两个字段一起 一起聚合

rollup									 

以最左侧字段为主,逐次划分

GROUP BY a,b,c,WITH ROLLUP ==> GROUP BY a,b,c GROUPING SETS((a,b,c),(a,b),(a),())
cube

进行全部组合

GROUP BY a,b,c WITH CUBE ==> GROUP BY a,b,c GROUPING SETS((a,b,c),(a,b),(b,c), (a,c),(a),(b),(c),())
使用样例

基础数据

create table temp.temp_hiveolap_tmp0 as 
select 1 as id, null as amount
union all
select 1 as id, 1 as amount
union all
select 2 as id, 2 as amount
union all
select 3 as id, 3 as amount
union all
select 3 as id, null as amount
union all
select 4 as id, 5 as amount

在这里插入图片描述
grouping sets 使用

select
    id,
    amount,
    grouping__id,
    count(*) cn 
from temp.temp_hiveolap_tmp0
group by 
    id,
    amount
grouping sets (id,amount,(id,amount),())

在这里插入图片描述
在这里插入图片描述
rollup使用

select
    id,
    amount,
    grouping__id,
    count(*) cn 
from temp.temp_hiveolap_tmp0
group by 
    id,
    amount
with rollup
--等价于
--goruping sets ((id,amount),id,())

在这里插入图片描述
cube使用

select
    id,
    amount,
    grouping__id,
    count(*) cn 
from temp.temp_hiveolap_tmp0
group by 
    id,
    amount
with cube
--等价于
--grouping sets((id,amount),id,amount,())

在这里插入图片描述
在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值