hive中的concat，concat_ws，collect_set用法

最新推荐文章于 2024-09-16 18:37:30 发布

waiwai3

最新推荐文章于 2024-09-16 18:37:30 发布

阅读量6.2w

点赞数 11

分类专栏： hive

本文链接：https://blog.csdn.net/waiwai3/article/details/79071544

版权

hive 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

需求：对用户的订单进行分析，将不同订单类型分别多少单展示出来，每个用户一行

原数据：

user	order_type	order_number
user1	delivered	10
user2	returned	1
user1	returned	3
user2	delivered	20

目标：

user	order
user1	delivered(10),returned(3)
user2	delivered(20),returned(1)

1.使用concat（）函数将order_type和order_number连接起来

concat（order_type,'(',order_number,')'）

user	order
user1	delivered(10)
user2	returned(1)
user1	returned(3)
user2	delivered(20)

2.使用concat_ws（）和collect_set（）进行合并行

将上面列表中一个user可能会占用多行转换为每个user占一行的目标表格式，实际是“列转行”

select user,concat_ws(',',collect_set(concat（order_type,'(',order_number,')'）)) order from table group by user

order是别名

collect_set的作用：

（1）去重，对group by后面的user进行去重

（2）对group by以后属于同一user的形成一个集合，结合concat_ws对集合中元素使用，进行分隔形成字符串

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

waiwai3

关注关注

11
点赞
踩
48

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Hive concat concat_ws 拼接空字符串的坑

Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发

08-23

6756

concat() ：如果存在空，返回空： hive> select concat('cd','1'); OK cd1 Time taken: 0.461 seconds, Fetched: 1 row(s) hive> select concat('cd',1); OK cd1 Time taken: 0.066 seconds, Fetched: 1 row(s) hive> select concat('cd',null); OK NULL Time taken: 0.053 se

Hive SQL 行转列：使用 CONCAT_WS 和 COLLECT_SET 实现

2301_79326857的博客

09-17

730

在数据处理和分析中，经常会遇到将行转列的需求，即将一行中的多个值转换为一列中的多行。在本文中，我们学习了如何在 Hive SQL 中使用 CONCAT_WS 和 COLLECT_SET 函数来实现行转列的操作。通过使用这两个函数，我们可以方便地将一行中的多个值转换为一列中的多行，并且可以自定义分隔符来分隔每个值。接下来，我们可以使用 CONCAT_WS 函数将技能集合中的值连接成一个字符串，并指定一个分隔符（例如逗号）来分隔每个值。通过以上代码，我们成功地将行转列，并将同一个员工的多个技能合并为一行。

参与评论您还未登录，请先登录后发表或查看评论

hive 中concat_ws和collect_set 用法

weixin_30596343的博客

07-03

529

collect_set：对返回的元素集合进行去重返回新的列表，实现列转行。 0: jdbc:hive2://10.67.1.207:10000> select collect_set(cast(ns_hour as string)) as ns_hour from tam_enhance_alarm where ns_date = 20180703;+-------------------...

数据库系统concat_ws命令

最新发布

2301_77836489的博客

09-16

440

数据库系统concat_ws命令

Hive函数concat_set详解

weixin_42497376的博客

09-25

1011

concat_set函数将接收到的字符串作为输入，并使用逗号作为分隔符将它们连接在一起。同时，它会去除重复的元素。

【hive】函数--行转列、列转行 concat、collect_set、concat_ws、explode

脸太黑黑黑

03-14

707

concat、collect_set、concat_ws、lateral view explode

Hive中的CONCAT、CONCAT_WS与COLLECT_SET函数

weixin_44852067的博客

03-14

3334

concat用于连接字符串。concat_ws用于按照指定的分隔符连接字符串。与group by和concat_ws一起使用可以实现"列转行。

【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景

sodaloveer的博客

09-13

1万+

【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景

hivesql中concat，concat_ws,collect_set 的常见用法

qq_35958094的博客

05-26

1万+

1.concat是将字符串连接起来，相当于python中的join； concat_ws(合并时的分隔符，合并id,name........) collect_set(字段):根据某个字段分组后，把分在一组的数据合并在一起，默认分隔符',' 2.使用concat_ws（）和collect_set（）进行合并行将列表中一个id可能会占用多行转换为每个user占一行的目标表格式，实际是“列转...

SQL---行转列，列转行（concat,concat_ws,collect_set）

xiaobai666666C的博客

06-13

1095

concat_ws则不然，只要有一个字符串不为null，就不会返回null,concat_ws需要指定分隔符。concat_ws也是将两个字符串连接成一个字符串,concat_ws需要指定分隔符。concat所要连接的字符串中出现了null，则整体连接结果为null。collect_set是将某列元素转化为数组返回。concat函数用于将两个字符串连接成一个字符串。注意:collect_set无序且会去重。

【FAQ】Hive collect_set()无序、collect_list()有序和concat_ws()使用

loongshawn的博客

07-14

1万+

需求来源对列值分组，并按一定顺序排序，最后多行合并一行，合并值左到右逆序排列。问题描述 select t.id, concat_ws(',', collect_set(t.class)) from temp t group by t.id 原始temp数据 id class loongshaw 1 loongshaw 2 loongshaw 3 loongshaw 4 期望值 id class loongshaw 1,2,3,4 .

Hive函数collect_set、concat_ws、concat、if

AnlaGodness的博客

02-03

675

hive查看函数声明：desc functions 函数名; collect_set函数 collect_set(x) - Returns a set of objects with duplicate elements eliminated 翻译：collect_set（x）-返回一组删除了重复元素的对象图1.只允许一个入参，参数可为字段，可为常量。图2.案例图3 4.返回值是数组 a...

hive的concat()、concat_ws()和collect_list()、collect_set()的用法

xfysq_的博客

03-30

3712

hive的concat()、concat_ws()和collect_list()、collect_set()的用法

spark sql 中concat_ws和collect_set的使用

麻辣灬小笼包的博客

04-09

6812

concat_ws和collect_set一般搭配使用官方释义 collect_set collect_set(expr) - Collects and returns a set of unique elements. concat_ws concat_ws(sep, [str | array(str)]+) - Returns the concatenation of the strings separated by sep. 1.concat_ws: 用指定的字符连接字符串连接字符串： conca

spark concat_ws,collect_set

zhuiqiuuuu的博客

05-30

7197

hive > select product_id, concat_ws('_',collect_set(promotion_id)) as promotion_ids from product_promotion group by product_id; OK 5112 960024_960025_960026_960027_960028 5113 960043_960044_960045_960

SQL的concat()、concat_ws()、collect_set、行转列、列转行的操作

热门推荐

weixin_41928342的博客

12-12

1万+

1、首先学习一下cancat()函数： cancat()函数：用于连接两个或多个数组案例：源数据： user order_type order_number zhangsan collect 20 wangwu payment 3 zahngsan payment 5 wangwu collect ...

hive 列转行—collect_set()/collect_list()/concat_ws()函数的使用场景

weixin_42326851的博客

11-24

4361

【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景

hive中的concat_ws合并用法

weixin_38842096的博客

11-29

1万+

从数据库里取N个字段，然后组合到一起用“，”分割显示。 CONCAT（）来处理的话是麻烦。 CONCAT_WS（）处理起来比较简单。 CONCAT（name,",",age） CONCAT_WS(",", name, age,…) 举个简单的例子 select concat(",",name,age) from student; lisi,12 xiaoming,13 CONCAT_WS（）是一...

hive concat_ws和collect_set()

07-28

hive中的`concat_ws`和`collect_set`函数都用于处理数据的聚合和连接操作。 1. `concat_ws`函数：`concat_ws`用于将多个字符串按照指定的分隔符连接起来。它的语法如下： ``` concat_ws(separator, str1, str2, ...) ``` 其中，`separator`是指定的分隔符，`str1, str2, ...`是要连接的字符串。该函数会将多个字符串按照指定的分隔符连接起来，并返回一个新的字符串。例如，假设有一个名为`table1`的表，包含两列`name`和`age`，我们可以使用`concat_ws`函数将`name`和`age`连接为一个新的字符串： ```sql SELECT concat_ws('-', name, age) AS new_column FROM table1; ``` 2. `collect_set`函数：`collect_set`用于将相同的值收集到一个集合中。它的语法如下： ``` collect_set(expression) ``` 其中，`expression`是要收集的表达式。该函数会将表达式的值收集到一个集合中，并返回一个包含不重复值的集合。例如，假设有一个名为`table2`的表，包含两列`id`和`category`，我们可以使用`collect_set`函数将相同`id`的`category`收集到一个集合中： ```sql SELECT id, collect_set(category) AS category_set FROM table2 GROUP BY id; ``` 综上所述，`concat_ws`用于字符串的连接操作，而`collect_set`用于收集相同值到集合中的操作。