hive的collect_set

concat_ws常和collect_set和group by结合起来一起用

collect_set去除重复元素;collect_list不去除重复元素


collect_set(col)函数只接受基本数据类型,它的主要作用是将某字段的值进行去重汇总,产生array类型字段

hive中常存在先通过group by对一字段去重后,还需要对另一字段也去重,这时候就需要collect_set()

stu表

ID

course

1

english

2

math

1

english

1

music

select 
ID,
COALESCE(concat_ws(',',collect_set(course)))course_name
FROM stu
Group by ID;    

执行结果为

id

course_name

1

english,music

2

math


  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值