【Hive】grouping sets 中的Grouping__ID过滤不起作用

SELECT key, value, GROUPING__ID, count(*)
FROM T1
GROUP BY key, value
GROUPING SETS ((), (key))
HAVING GROUPING__ID = 1

这个sql语句中Grouping__ID过滤不起作用,没有结果返回。下面是官方的解答:

问题描述:Filter on Grouping__ID does not work properly
类型: Bug
受影响的版本:1.3.0, 2.0.0
修复的版本:1.3.0, 2.0.0

原因是SemanticAnalyzer(语义解析器)为GROUPING__ID列引入了“常量”占位符。 在执行时,此占位符将替换为GROUPING__ID的实际值。 由于该列是常量,因此Hive优化程序(PPD和常量折叠的组合)将静态评估条件是否满足,从而导致错误的结果。
我们应该能够识别占位符,并避免PPD将过滤谓词推给GroupBy运算符。

PS:我用的集群Hive版本是1.1.0的,按道理是不受影响的,但还是无法使用Grouping__ID过滤。后面把带有Grouping__ID的结果数据写到物理表中 或者 create temporary table,再从表中取数据对Grouping__ID过滤解决问题。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值