005.hive列转行（collect_set() 去重）

最新推荐文章于 2024-02-03 21:19:22 发布

weixin_34129145

最新推荐文章于 2024-02-03 21:19:22 发布

阅读量253

点赞数

文章标签：大数据 shell

原文链接：https://my.oschina.net/repine/blog/295961

版权

为什么80%的码农都做不了架构师？>>>

一、问题

hive如何将

a       b       1
a       b       2
a       b       3
c       d       4
c       d       5
c       d       6

变为：

a b 1,2,3
c d 4,5,6

二、数据

test.txt

a       b       1
a       b       2
a       b       3
c       d       4
c       d       5
c       d       6

三、答案

1.建表

drop table tmp_jiangzl_test;
create table tmp_jiangzl_test
(
col1 string,
col2 string,
col3 string
)
row format delimited fields terminated by '\t'
stored as textfile;

load data local inpath '/home/jiangzl/shell/test.txt' into table tmp_jiangzl_test;

2.处理

select col1,col2,concat_ws(',',collect_set(col3))
from tmp_jiangzl_test
group by col1,col2;