【FAQ】Hive collect_set()无序、collect_list()有序和concat_ws()使用

最新推荐文章于 2024-03-06 10:31:42 发布

loongshawn

最新推荐文章于 2024-03-06 10:31:42 发布

阅读量1.1w

点赞数 4

分类专栏：笔记职场 Big Data 文章标签： hive 集合

本文链接：https://blog.csdn.net/loongshawn/article/details/118728814

版权

本文介绍了在Hive中如何处理集合数据的有序性问题，针对collect_set产生的无序集合，提出了改用collect_list或结合sort_array进行排序的解决方案，确保合并后的值按照指定顺序排列。通过实例展示了collect_list与sort_array的使用，以满足对列值分组并有序合并的需求。

摘要由CSDN通过智能技术生成

需求来源

对列值分组，并按一定顺序排序，最后多行合并一行，合并值左到右逆序排列。

问题描述

select
  t.id,
  concat_ws(',', collect_set(t.class))
from
  temp t
group by
  t.id

原始temp数据

id	class
loongshaw	1
loongshaw	2
loongshaw	3
loongshaw	4

期望值

id	class
loongshaw	1,2,3,4

实际结果，class合并后并不是有序

id	class
loongshaw	1,3,2,4

解决方式

collect_set无序集合，改成collect_list或sort_array进行排序。

concat_ws(',', sort_array(collect_set(t.class), fal

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

loongshawn

关注关注

4
点赞
踩
32

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

SQL进阶技巧：如何保证collect_list()函数有序性？【有序数据合并问题】

石榴姐yyds

08-13

357

collect_list()函数是hive中非常重要的函数，他是一种聚合函数，他可以将多行数据合并成一行数据，可以将某列的值聚合成一个list，我们通常说的数据合并就是利用该函数实现的。但是该函数在使用时候不能保证合并的顺序性，包括在hive官网中也给出了说法，由于shuffe的影响并不能保证结果的顺序性，在日常的实践中我们往往需要的输出结果是要有序的，那么如何利用该函数保证输出结果的有序性呢？本文针对这一问题进行探究，并给出了完整的解决方案。

hive sql 行转列 collect_set，collect_list 有序化展示

qq_33481114的博客

08-24

1万+

1、collect_set去除重复元素；collect_list不去除重复元素；需要进行group by select phone,collect_list(user_id) ,collect_set(user_id) from a group by phone 123456789 [1,3,2,1,2] [1,3,2] 2、collect_list 展示子表排序后结果，col...

参与评论您还未登录，请先登录后发表或查看评论

sparksql 中的concat_ws 和sort_array 和collect_list的使用方法

m0_69097184的博客

10-08

2617

`concat_ws`用于将多个字符串连接成一个以指定分隔符分隔的单个字符串。- 语法：`concat_ws(separator, str1, str2, ...)`- 示例：```sql```结果将是一个字符串："apple,banana,cherry"

数仓工具—Hive语法之collect_set 和 collect_list(17)

热门推荐

06-30

6万+

collect_set 和 collect_list 今天我们介绍两个函数 collect_sets 和 collect_list，其实看到这两个函数的名字你也能猜个七七八八了，我们都知道如果我们在使用聚合函数的时候，或者分组汇总的时候，我们算出来的都是具体的指标，例如求和、计数什么的，举个例子，假设我们有一张表student(stu_id int,class_id int),一般情况下我们都是统计这个每个班级有多少学生，那这个SQL 很简单 select class_id,count(stu_id)

[hive]collect_set排序问题

胖胖的博客

06-21

5989

即：collect_set(a) over(partition by b order by c) 集合中的数据a会按照 c列的顺序按行累加。本身也是需要按照指标进行去重的，在这里我们选择最长的一条进行去重，就可以解决问题了，最长的那条涵盖了所有的数据。第二列：该指标下的所有地区名称,按照地区代码顺序排序，按照";"进行分割，且该字段不为空时，末尾追加";第三列：该指标下所有的年份,按字母顺序排序，按照";在over中按照地区代码进行排序，然后在collect_set中把排好顺序的数据收集起来。

Hive 的collect_set使用详解

事后诸葛亮的程序人生（微信：zq9017197）

03-21

6607

有这么一需求，在Hive中求出一个数据表中在某天内首次登陆的人；可以借助collect_set来处理sql: [html] view plain copy print? select count(a.id) from (select id,collect_set(time) as t from t_action_login where

Hive collect_set()、collect_list()列转行，并对转换后的行值排序

helloxiaozhe的博客

01-30

2245

Hive collect_set()、collect_list()列转行，和concat_ws()使用，并对转换后的行值排序

Hive collect_set()排序和concat_ws()的使用

qq_37250067的博客

06-26

3万+

array():将两列合并为一列如将a字段和b字段合并为 c字段 a b c 1 1 “1”,“1” 1 2 “1”,“2” collect_list():根据某个字段分组后，把分在一组的数据合并在一起，默认分隔符’,’ 如 a b c 1 1 “1”,“2” 1 2 “1”,"2” 1 2 “1”,“2”,“2” collect_se...

collect_set 如何有序

叁木大数据

04-11

5470

collect_set 如何有序一、问题描述二、探索流程&解决2.1 数据2.2 初始sql 一、问题描述需求简述：有一张日度表，需要按照需求方要求去实现，其他逻辑暂时不讨论，其中会涉及一个月度聚合某字段，并去重复，且按照dt asc 排序环境：spark sql 2.4.0 二、探索流程&解决 2.1 数据 SELECT 3517977374903924421 AS product_id, '03年线下批发经验，严选品质，赠送运费险' AS recommen

Java集合排序及java集合类详解(Collection、List、Map、Set)

05-02

Java集合排序及java集合类详解(Collection、List、Map、Set)

Hive函数collect_set、concat_ws、concat、if

AnlaGodness的博客

02-03

662

hive查看函数声明：desc functions 函数名; collect_set函数 collect_set(x) - Returns a set of objects with duplicate elements eliminated 翻译：collect_set（x）-返回一组删除了重复元素的对象图1.只允许一个入参，参数可为字段，可为常量。图2.案例图3 4.返回值是数组 a...

Hive笔记之collect_list/collect_set（列转行）

qianchun22的博客

01-15

381

collect_list和collect_set 它们都是将分组中的某列转为一个数组返回，不同的是collect_list不去重而collect_set去重。做简单的实验加深理解，创建一张实验用表，存放用户每天点播视频的记录： create table t_visit_video ( username string, video_name string ) partitioned by (day string) row format delimited fields terminated

hive：函数：collect_list和collect_set （行转列-多行转单行）

不花的花和尚的博客

06-24

4273

业务场景：表一对表二是一对多的关系，现在需用表1去关联表2，但是要取表2的某条对应的最新的数据表2格式为（同id查出多条）： select id,status from os.os_aen_erp_comments where recommendid =686871 1398221 加入项目 1398235 编写推荐报告 1398246 推给客户 1404211 预约初试 ...

hive分区排序row_number、rank和dense_rank，列转行collect_list和collect_set

weixin_72871448的博客

12-19

592

hive分区排序row_number、rank和dense_rank，collect_list和collect_set的区别

collcet_set函数实现排序

最新发布

weixin_44203240的博客

03-06

601

可以通过concat_ws(',',sort_array(collect_set(column))）

将collect_set改成既排重又排序

筷子的博客

04-16

6395

collect_set无法满足业务需要，只排重不排序。为了实现又排重又排序，重写了collect_set的底层源码。其实就是把底层的LinkHashSet改成TreeSet。涉及到的类 org.apache.hadoop.hive.ql.udf.generic.GenericUDAFCollectSet； org.apache.hadoop.hive.ql.udf.generic.Generi...

hive concat_ws列转行排序问题

super_chenzhou

06-11

4757

hive concat_ws列转行排序问题

hive concat_ws和collect_set()

07-28

hive中的`concat_ws`和`collect_set`函数都用于处理数据的聚合和连接操作。 1. `concat_ws`函数：`concat_ws`用于将多个字符串按照指定的分隔符连接起来。它的语法如下： ``` concat_ws(separator, str1, str2, ...) ``` 其中，`separator`是指定的分隔符，`str1, str2, ...`是要连接的字符串。该函数会将多个字符串按照指定的分隔符连接起来，并返回一个新的字符串。例如，假设有一个名为`table1`的表，包含两列`name`和`age`，我们可以使用`concat_ws`函数将`name`和`age`连接为一个新的字符串： ```sql SELECT concat_ws('-', name, age) AS new_column FROM table1; ``` 2. `collect_set`函数：`collect_set`用于将相同的值收集到一个集合中。它的语法如下： ``` collect_set(expression) ``` 其中，`expression`是要收集的表达式。该函数会将表达式的值收集到一个集合中，并返回一个包含不重复值的集合。例如，假设有一个名为`table2`的表，包含两列`id`和`category`，我们可以使用`collect_set`函数将相同`id`的`category`收集到一个集合中： ```sql SELECT id, collect_set(category) AS category_set FROM table2 GROUP BY id; ``` 综上所述，`concat_ws`用于字符串的连接操作，而`collect_set`用于收集相同值到集合中的操作。