浅谈hive之grouping sets 使用技巧


浅谈grouping sets 使用及特点,最近工作中因业务需求,需提供多维度自定义联动,结合之前对with_cubes 的使用及思考记录相关内容。
grouping sets 使用注意点
一 : group by 中字段才能组合,建议算法中除表关联,关联条件外,其它部分去除别名,避免grouping sets 使用中识别失败。
二 :使用中,如遇到grouping sets 涉及字段,需要在插入中再做函数如:count(case when 条件 then a end) 情况时,会导致字段a在grouping sets 使用中失败,解决思路清洗中对插入字段重命名。
三 :若grouping sets 使用中只需要做一次聚合应写为,group by a,b,c,d grouping sets ((a,b)),因为单一括号是为 group by a union all group by b ,双括号则视为一个维度。
四 :若grouping sets 字段中有不规范数据和null值,会导致数据上浮,需要提前处理。
with_cube,当前使用hive版本经测试,维度超过4个则会报错,使用需注意。with cube 从模型角度更类似于普通魔方,三维立体。
工作中使用这2个函数较少,并没有细究原由,仅做记录在做探查。

  • 4
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值