mysql中的group_concat分组连接功能相当强大,可以先分组再连接成字符串,还可以进行排序连接。但是hive中并没有这个函数,那么hive中怎么实现这个功能呢?
这里要用到:concat_ws函数和collect_list、collect_set 函数。
-
建立测试表(无分区表):
-
concat_ws + collect_set + group by:
代码块
SQL
select
id,
concat_ws(',',collect_set(content)) as con_con,
concat_ws(',',collect_set(comment)) as con_com
from db_name.test_tb
group by id
结果:无序且不对应(con_con与con_com的位置) —— 但是注意 collect_set会将重复的数据删除,因为集合的性质。
每次运行连接的结果顺序都可能不一样。
- concat_ws + collect_list + group by:
代码块
SQL
select
id,
concat_ws(',',collect_list(content)) as con_con,
concat_ws(',',collect_list(comment)) as con_com
from db_name.test_tb
group by id
结果:对应(con_con与con_com的位置)但无序。
参考链接: https://www.cnblogs.com/qi-yuan-008/p/13583959.html