Hive group by操作后将其他字段串接

最新推荐文章于 2024-02-01 15:36:42 发布
最新推荐文章于 2024-02-01 15:36:42 发布
阅读量3.7k 收藏
点赞数
文章标签： 大数据 json
原文链接：https://yq.aliyun.com/articles/550119
版权

表tmp_test

a ios

b andriod

a andriod


目标数据

a ios|andriod

b andriod


sql： select uid,concat_ws('|', collect_set(device)) from tmp_test group by uid;



collect_set 是 Hive 内置的一个聚合函数, 它返回一个消除了重复元素的对象集合, 其返回值类型是 array 。










本文转自 落花非有意  51CTO博客，原文链接：http://blog.51cto.com/1992zhong/1893017，如需转载请自行联系原作者
weixin_33794672
关注
Hive order by后面跟别名，where/ group by/ partition by后面要么跟原字段名，要么跟表达式。
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
07-27 1704
order by后面跟别名，where/ group by 后面要么跟原字段名，要么跟表达式。 1 字段别名，没有使用函数 selec c1 as c2 ...... where/ group by 后面跟原字段名（c1），不然报错 order by 后面跟原字段名（c1）或别名(c2)均可 where c2 报错 group byc2 报错 order by c1 正确/ order by c2正确 2 字段经过函数处理后的别名，比如使用sum/coalesce/...
Hive Sql之取非Group by字段数据的方法
南风知我意
05-12 1049
执行以下hive ql语句： SELECT sid, class_id FROM table2 GROUP BY sid ; 会报错：FAILED: Error in semantic analysis: Line 1:18 Expression not in GROUP BY key 'class_id' collect_set( col:any ) 返回一个数组： 解释：返回一个去重后的对象集合 collect_list( col:any) 返回一个数组： 解释：返回一个不去
Hive----关联查询 排序 系统函数 分桶表 行列转换 窗口函数
weixin_51077563的博客
12-02 424
关联查询 join on --可以多表连接 left join on --左连接 right join on --右连接 left semi on --返回主表的内容 right不能和semi一块使用,只能左连 (类似于子查询) union all --联合查询,连接两个查询的结果集 要求字段个数和数据类型一致 all(不会去重) union --去重 (union all 和 union返回结果是两个表的结合) full join --两个表的拼接(包括null值) --join的多表连
Hive sql实现分组后对组内字符串拼接
最新发布
weixin_50646402的博客
02-01 817
工作中遇到一个需求，系统中针对一辆车会填报多个问题，在统计时希望展示一辆车一行记录，所有问题描述汇总在一个字段展示。
hive拼接和group_concat
热门推荐
changzoe的博客
07-24 5万+
拼接函数 concat(STRING|BINARY a, STRING|BINARY b…) Returns the string or bytes resulting from concatenating the strings or bytes passed in as parameters in order. For example, concat(‘foo’, ‘bar’) res...
hivesql 分组拼接同一列的字符串 / 分组多行拼接为一行
wuchongyong的博客
07-09 1880
函数concat_ws： select id, concat_ws('_',collect_set(col1)) as concatcol1 from table group by id 函数 groupconcat： select id,group_concat(distinct(col1),'_') as concatcol1 from table group by id
HIVE SQL实现分组字符串拼接concat
爱吃干脆面的小潘
08-15 3537
3.如果在分组拼接的时候需要保持拼接结果为有序排序，可以通过以下两种方式。1.concat_ws+collect_list 非去重拼接。2.concat_ws+collect_set 去重拼接。函数实现分组字符串拼接，在HIVE SQL中可以使用。2）sort_array（）函数升序排列。在Mysql中可以通过。函数实现相同的效果。
为什么Hive中的group by后面不能使用字段别名？
雷恩Layne
04-19 3044
为什么Hive中的group by后面不能使用字段别名呢？看了这篇文章你将一目了然。 文章目录1. 案例说明2. 分析原因3. 解决办法4. 执行效率5. 总结 1. 案例说明 我们以一个例子来说明。 （1）数据 创建business.txt，内容如下： jack,2017-01-01,10 tony,2017-01-02,15 jack,2017-02-03,23 tony,2017-01-04,29 jack,2017-01-05,46 jack,2017-04-06,42 tony,2017-01-
hive中groupby优化_Hive 查询优化总结
weixin_39606137的博客
12-20 351
一、join优化Join查找操作的基本原则：应该将条目少的表/子查询放在Join操作符的左边。原因是在Join操作的Reduce阶段，位于Join操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。Join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的join合并到一个mapred程序中。案例：SELEC...
HIVE Group by
anti
01-19 623
HIVE Group by 怎么使用group by这里不做过多介绍，这里主要记录下除了常用的group by操作外一些需要关注的地方。 在一个select语句group时候对多个字段使用distinct是不允许的，如下。 INSERT OVERWRITE TABLE pv_gender_agg SELECT pv_users.gender, count(DISTINCT pv_users.
Hive 多行合并和分组limit输出 UDF工具包
11-17
用于多行合并和分组limit输出的udf工具包，已编译配置好，直接调用即可
Hive系列之解析JSON数据
lonelymanontheway的博客
06-24 1156
概述：大数据处理，Hive解析JSON数据； 实战：get_json_object、json_tuple、 explode、自定义函数解析 Json 数组
hive 分组以及数据取出
weixin_44788745的博客
07-28 965
select 订单号字段 ,sort_array(collect_set(多条明细的字段 )) as 字段名 from tmp.表名 group by 订单号字段
hive将表中数据分组、然后将每行数据的两个字段拼接成json字符串，放到array里
是故事啊~关注我~
10-28 2034
2、collect_set 可以将分组后的数据一条一条收集成一个array，而且会去除重复数据。使用了hive中的3个函数，concat、collect_set、sort_array。3、sort_array 可以对一个array中的所有元素进行字典序排序。1、cancat 可以将多个字符串连接。
group by能够查询的字段
qq_40772429的博客
09-10 2025
分组组名不仅仅是group by的字段，还可以是各种分组字段的标量函数，比如concat（），data_format（），什么都可以，但只能用分组后的字段。这样看应该比较明显，在group by筛选后，字段只有creator与total_premium了，因此select中只能携带这两个字段。只能是这三种的一个或者多个的组合，否则报错。（分组后的每组只会有一行数据，故只能对每组的数据由多到一的转变）准确说上面这段代码，重新根据执行顺序翻译一下应该如下。
hive中group by用法新发现
z_luxingzhe的博客
05-21 2894
hive group by 深度理解group by 的通俗理解分组和去重 group by 的通俗理解 分组和去重 group by最简单的理解就是分组,比如存在这样一张表: student_info,字段包含班级(class),学生姓名(name),年龄(age),入学日期(event_day) 四个字段: class name age event_day 1 张三 15 2021-05-01 2 李四 14 2021-05-03 3 王五 13 2021-05-05 1 赵
hive字符串拼接常用方法
MusicDancing的博客
09-03 3万+
hive中常用的一些拼接函数 1. concat() 实现把若干个字段(字段类型可不相同)数据拼接起来 用法: concat(string a1, int a2, float a3) select concat("aa", 11, 2.2); aa112.2 不同字段之间用分隔符连接("_") select concat("aa","_",11,"_",2.2); aa_11_2.2 2. concat_ws() 使用分隔符将若干个字符串拼接起来，实现“列转行” 用法: 其...
Hive对分组结果进行排序拼接
ChengUU
12-28 1460
【代码】Hive对分组结果进行排序拼接。
Hive.GROUP BY子句的“陷阱”
辰采星
03-25 2万+
做SQL或类SQL查询工作，跟GROUP BY打交道太频繁了，使用人士应该都晓得：在SELECT子句中出现的字段或属性，如果不是在聚合函数中，那就必须要放到GROUP BY子句里面去，反过来，没有出现在GROUP BY子句中的字段或属性，只能在聚合函数中。。。。。。        有时候，我们也需要对一个字段/属性作处理，假设有这样一个场景：在Hive数据库里有表my_table，my_ta
hive 把string类型的字段 group by 前 5个字段
07-22
如果你想对前5个字符串类型的字段进行分组，你可以使用它们的列名并将它们列在GROUP BY子句中。 以下是一个示例查询，假设你有一个表名为`表名`，并且前5个字段为`字段1`、`字段2`、`字段3`、`字段4`和`字段5`： `...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值