Hive笔记——collect_list,collect_set

最新推荐文章于 2024-03-14 19:24:41 发布

一个在成长的程序猿

最新推荐文章于 2024-03-14 19:24:41 发布

阅读量289

点赞数

分类专栏：大数据文章标签： hive

本文链接：https://blog.csdn.net/m0_46581341/article/details/106012518

版权

本文介绍了Hive中的collect_list和collect_set函数，它们用于将分组数据的指定列转化为数组。collect_list不消除重复项，而collect_set会去除重复。通过创建数据表、插入数据、查询以及展示如何使用这两个函数进行数据聚合来说明其用法。

摘要由CSDN通过智能技术生成

这两个函数都是将分组数据的某列变成一个数组，不同的是collect_list是不去重，collect_set是去重

collect_set函数

1）创建原数据表

drop table if exists stud;
create table stud (name string, area string, course string, score int);

2）向原数据表中插入数据

insert into table stud values('zhang3','bj','math',88);
insert into table stud values('li4','bj','math',99);
insert into table stud values('wang5','sh','chinese',92);
insert into table stud values('zhao6','sh','chinese',54);
insert into table stud values('tian7','bj','chinese',91);

3）查询表中数据

select * from stud;

stud.name       stud.area       stud.course     stud.score
zhang3 bj      math    88
li4     bj      math    99
wang5   sh      chinese 92
zhao6   sh      chinese 54