hive：Group by 问题：Expression Not In Group By Key

最新推荐文章于 2022-02-07 14:24:20 发布
最新推荐文章于 2022-02-07 14:24:20 发布
阅读量2.7w 收藏 3
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wenlong237/article/details/10227419
版权
在从MySQL迁移到Hive时，遇到Group by问题，原SQL期望按DATEBUF和CITYID分组并获取每组CHANNELID的第一个值。在Hive中直接使用GROUP BY报错。尝试使用Hive的内置UDAF函数collect_set()虽避免了错误，但结果返回的是HDFS存储顺序的第一个值，而非预期的每个分组的第一个值。
摘要由CSDN通过智能技术生成

hive又遇到了问题：

原来的mysql中sql语句为

SELECT 	DATEBUF, CITYID, CHANNELID FROM STAT_CVCHNEW WHERE DATEBUF>=20110517 AND DATEBUF<=20110519 GROUP BY DATEBUF, CITYID;

得到的结果应该是是按DATEBUF和CITYID分组，然后每组对应CHANNELID的第一个值

但在hive中报错

FAILED: SemanticException [Error 10025]: Line 1:20 Expression not in GROUP BY key 'uc'

然后google到http://stackoverflow.com/questions/5746687/hive-expression-not-in-group-by-key中这样解决

用hive的udaf函数：collect_set()

改为

SELECT DATEBUF, CITYID, collect_set(CHANNELID) FROM PWD_STAT_CVCHNEW WHERE DATEBUF=20130810 and cityid<3 GROUP BY DATEBUF, CITYID;
返回的是每一组datebuf和cityid相应的channelid的所有的一个集合

最低0.47元/天 解锁文章
wenlong237
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive 2.3.4 SemanticException [Error 10025]: Line 18:7 Expression not in GROUP BY key ‘xxx‘
SmartSi
02-28 230
Hive SemanticException [Error 10025]: Line 18:7 Expression not in GROUP BY key 'xxx'
Hive SQL踩坑记录-NULL判断、字符串拼接、执行报错：Expression not in GROUP BY key
Viga的博客
06-18 629
记录在使用Hive SQL 过程中的错误信息 【Hive SQL踩坑记录】 对于NULL判断 select last_visit_day, case when last_visit_day is NULL then datediff('2021-06-01', '2021-05-01') else COALESCE(datediff(stat_dt, last_visit_day), 0) end as consecutive_days_without_access from
Expression not in GROUP BY key
weixin_57551874的博客
05-19 4430
SemanticException [Error 10025]: Line 4:0 Expression not in GROUP BY key 'device_type' select user_id , device_num , device_type , os ， os_version , manufacturer, carrier , network_type, area_code , count(1) launch_count from dwd_nshop.dwd_nshop_actlog_la
Hive报错"Expression not in GROUP BY key"的解决方案
热门推荐
chinamcafee的专栏
11-30 4万+
执行Hive语句遇到"Expression not in GROUP BY key"的快速解决方法
Hive中group by 提示Expression Not In Group By Key的解决办法
kamisamak的博客
11-22 2176
现象 hive中group by的时候 select stu.s_name,sum(sc.s_score) from score sc left join student stu on stu.s_id = sc.s_id group by sc.s_id; 会提示： Error: Error while compiling statement: FAILED: Sema...
2020.10.12 hive报错Expression Not In Group By Key [value]的处理
超可爱慕之
10-12 408
hive Expression Not In Group By Key I create a table in HIVE. It has the following columns: id bigint, rank bigint, date string I want to get avg(rank) per month. I can use this command. It works. select a.lens_id, avg(a.rank) from tableA a group by a.len
Hive中提示Expression Not In Group By Key的解决办法
UiRim的博客
08-21 2463
Hive中提示Expression Not In Group By Key的解决办法 sql: select OrderCode ,Status ,max(inputDate) as inputDate from trade.AuditLog where ds={ds} group by OrderCode 不在意其他字段值的情况下可使用collect_set() select OrderCode ,collect_set(Status)[0] ,max(inputDate) as inputDate
Hive中group by还能这样玩？
abcdefg90876的博客
04-12 1259
之前参加校招面试的时候，遇到一个hive分组函数的题目，大致内容如下：我们有如下的一张表（数据纯属虚构）：表中一共有四列数据，分别是地区，员工姓名，月份和销量。目前的需求时，想同时得到...
hive--grouping sets相关报错
qq_46893497的博客
02-07 2178
文章目录missing ) at ',' near ')'，同时其报错位置指向grouping sets 括号内部SemanticException 104:1 [Error 10213]: Grouping sets expression is not in GROUP BY key. Error encountered near token ... missing ) at ‘,’ near ‘)’，同时其报错位置指向grouping sets 括号内部 报错sql select tab1.a
Hive 报错: Expression not in GROUP BY key ‘xxx‘
日格一物
08-26 1万+
报错信息: Expression not in GROUP BY key ‘xxx’ 报错含义: 字段 ‘xxx’ 没有在 group by 中 产生原因: 某些字段 ‘xxx’, 在 select 后的字段中出现, 却没有在 group by 后的字段中出现; 如下 sql 会报错, 因为, c 字段没有出现在 group by 后面 select a, b, c from table_a group by a, b Hive 编程指南中指出 : GROUP BY 语句通常会和聚合函数一起使用,按
数据分析EPHS(13)-Hive中的高阶分组函数Grouping Sets
abcdefg90876的博客
04-12 123
之前参加校招面试的时候，遇到一个hive分组函数的题目，大致内容如下： 我们有如下的一张表(数据纯属虚构)： 表中一共有四列数据，分别是地区，员工姓名，月份和销量。目前的需求时，想同时得到各地区的销量、各员工的销量，以及每个员工在每个地区的销量。 当时我是这么回答的：使用Group by和union all，对应的代码如下： select area,null as name,sum(c...
Hive 错误 Expression not in GROUP BY key
迎难而上
03-05 3万+
参考文章： https://help.aliyun.com/knowledge_detail/54250.html Hive 支持基本的SQL , 但是 Hive 与 MySQL 还是有 些许区别的。 其中在开始使用 Hive 的时候会遇到Expression not in GROUP BY key 的错误，错误原因如下： 问题原因 在 Group by 子句中...
Hive 错误FAILED: SemanticException [Error 10025]: Line 1:40 Expression not in GROUP BY key
蒯厅博客
11-18 2805
Hive 错误 Expression not in GROUP BY key Hive 支持基本的SQL , 但是 Hive 与 MySQL 还是有 些许区别的。 其中在开始使用 Hive 的时候会遇到 Expression not in GROUP BY key 的错误，错误原因如下： 问题原因 在 Group by 子句中，Select 查询的列，要么需要是 Group by 中的列，要么得是用聚合函数（比如 sum、count 等）加工过的列。不支持直接引用非 Group by 的列。这一点和 M
【Hive报错】Hive报错Expression Not In Group By Key解决方法
Koma_zhe的学习笔记
11-10 2万+
SQL例如以下会报错： select sum(time) as time, roadCoding, upstreamOrDownstream from historicalroaddata where ... 报以下roadcoding、upstreamOrDownstream的错误 FAILED: SemanticException [Error 10025]: Line 1:12 Expression not in GROUP BY key ‘roadcoding′ 解决方法：使用collect
Hive_Hive ROLLUP, GROUPING SETS, CUBE 聚合函数 GROUPING 函数 与 GROUPING__ID 计算方式
迎难而上
04-07 1239
在 ROLLUP, GROUPING SETS , CUBE 函数中 , 我们会需要用到 GROUPING 函数 与 GROUPING__ID 。 通过 GROUPING 函数，可以方便的知道所选择的列 是否进行了聚合。 而通过 GROUPING_ID 可以结合 ROLLUP, GROUPING SETS , CUBE 列的顺序，知道用那些列 进行了...
Hive_6. 数据聚合 -- Group By & Grouping_SETS & RollUp & CUBE & Having
Mike han
12-03 1万+
先完善列表结构，会后续填充内容
hive中Expression not in GROUP BY key
最新发布
07-27
在Hive中，当你在SELECT子句中使用一个表达式，但是这个表达式不在GROUP BY子句中，就会出现"Expression not in GROUP BY key"的错误。 这个错误是由于Hive的GROUP BY子句要求你列出所有在SELECT子句中使用的非聚合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值