【hive】函数--行转列、列转行 concat、collect_set、concat_ws、explode

最新推荐文章于 2024-06-12 11:53:53 发布
最新推荐文章于 2024-06-12 11:53:53 发布
阅读量661 收藏 1
点赞数 1
分类专栏： # 【hive】 基础巩固 文章标签： hive 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41577527/article/details/104861955
版权
本文介绍了Hive中用于行转列和列转行的函数，包括concat、collect_set、concat_ws和lateral view explode的使用。通过示例展示了如何对数据进行拼接、去重、数组转字符串以及数组元素拆分的操作，帮助理解这些函数在大数据处理中的应用。
摘要由CSDN通过智能技术生成

hive行转列、列转行函数（concat、collect_set、concat_ws、lateral view explode）

  • 首先看一下数据源
hive (mydatabase)> select * from mytest1;
OK
id name addr
1	A	bj
2	A	sh
3	B	sh
4	B	bj
5	A	bj
6	A	sj
  • concat
    -对元素进行简单的拼接
hive (mydatabase)> select name,concat(name,'_',addr,'_',name
最低0.47元/天 解锁文章
脸太黑黑黑
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
concat函数_hive常用函数 concat concat_ws row_number
weixin_39936388的博客
11-28 1153
在应用hive在数据仓库中进行数据提取中经常会用户很多函数，为了记录自己常用的hive函数，特写这个系列的文章，记录下自己的使用心得，其中包括使用场景、用法等。1、concatconcat是字符拼接函数的一种，在实际的数据提取中也是常用的，其主要用于将输出的字段与其他字符拼接在一起，比如数据仓库中的某字段金额存储的只是数字，你想要在后面加上对应的单位，这个时候concat函数就派上用途了。用法：c...
mysql和hive——concat函数和concat_ws函数
whathellll的博客
05-29 2237
原文 https://blog.csdn.net/muzieryueniao/article/details/77053307，为hive数据库字符串拼接函数的原文，同样适用于mysql 在mysql中使用concat函数与concat_ws函数的实验 实验1:concat_ws函数 concat_ws(分隔符字符串，被拼接字段1，被拼接字段2，被拼接字段3，.....) 返...
Mysql中concat()和concat_ws() 的用法
最新发布
睡不醒的每天
06-12 1140
如果分隔符为 NULL，则结果为 NULL。函数会忽略任何分隔符参数后的 NULL 值。但是CONCAT_WS()不会忽略任何空字符串。(然而会忽略所有的 NULL）1、2 select CONCAT(“北京”,“:”,“上海”) AS 根据字符串拼接 from。1、3 select CONCAT(“北京”,NULL) AS 根据NULL from。根据null进行拼接，只要出现null的情况下，所有内容都为null。根据字段中的具体内容进行拼接，从而生成新的内容且真是存在，第一个参数是其它参数的分隔符。
Hive函数concat_set详解
weixin_42497376的博客
09-25 933
concat_set函数将接收到的字符串作为输入，并使用逗号作为分隔符将它们连接在一起。同时，它会去除重复的元素。
hive：函数：concat_ws函数
热门推荐
不花的花和尚的博客
07-30 3万+
环境： 1. hive版本0.13.0 2. 表test_array有数组字段例如： select c_array from test_arraywhere dt='2016-09-26' and size(c_array)=2 limit 2; ["105750","1246345","907964"] ["935105","359772","935104"] 3.转为字符...
Hive中的CONCAT、CONCAT_WS与COLLECT_SET函数
weixin_44852067的博客
03-14 2731
concat用于连接字符串。concat_ws用于按照指定的分隔符连接字符串。与group by和concat_ws一起使用可以实现"列转行。
hive--字符串连接函数concat(),concat_ws()
nuhao的博客
02-28 1332
功能：和concat()一样，将多个字符串连接成一个字符串，但是可以一次性指定分隔符～（concat_ws就是concat with separator）语法: concat_ws(string SEP, string A, string B…说明：返回输入字符串连接后的结果，SEP表示各个字符串间的分隔符。语法: concat(string A, string B…说明：返回输入字符串连接后的结果，支持任意个输入字符串。功能：将多个字符串连接成一个字符串。返回值: string。返回值: string。
Hive之--行转列collect和列转行explode
fczheng的博客
08-05 870
一、行专列 1.相关函数说明 concat(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; concat_ws(separator, str1, str2,...)：它是一个特殊形式的 concat()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过...
hive中常用的重要函数NVL case when,行转列concat collect_set,列转行explode,时间函数date_format, date_add,next_day等等
weixin_43548518的博客
01-27 905
介绍生产中经常使用的函数 NVL 函数: 给值为NULL的数据赋值 格式: NVL( value，default_value) 功能: 如果value为NULL，则NVL函数返回default_value的值，否则返回value的值，如果两个 参数都为NULL ，则返回NULL。 案例: hive (default)> select comm from emp; NULL 300....
HIVE-行转列&列转行-explode()&concat()
ABC15732186271的博客
01-06 555
hive行转列、列转行，explode() 、lateral view explode（）、concat()、collect_list()
HiveSQL行转列lateral view explore()以及连接concat_ws()和列转行collect_list()&collect_set()区别的使用案例
SOARING
05-29 6512
行转列： 在我们使用hive进行数据统计分析时可能有这么一个场景： 一行数据中，一个字段中有很多和数据项，我们需要对每个数据项进行一个统计分析。 例如：一个人有很多人生的重要阶段，我们有一批人，求在某个阶段的人的总数 uid，stage 1,jiehun:shengzi:maiche 2,maiche:maifang 3,maifang:jiehun 4,dushu:maiche 5,d...
Hive笔记——concat_ws,concat,group_concat函数
m0_46581341的博客
05-09 876
concat_ws()函数 作用：用来指定参数之间的分隔符 语法：concat_ws(分隔符，str1，str2，…) 例如：select concat_ws('_', id, name) as con_ws from info limit 1; concat()函数 作用：用来将多个字符串拼成一个字符串 语法：concat(str1，str2，…) 例如：select concat(id, ',', name) as con from info limit 1; group_concat()函数 作用：用
Hive函数concat()和concat_ws()
LBJ_小松鼠的博客
12-25 1855
concat() 字符串拼接 select concat('刘','-','阿','-','福'); 输出: 刘-阿-福 concat_ws select concat_ws('-','liu','a','fu'); 输出: liu-a-fu 根据自己的业务需求灵活选择应用即可!!
[Mysql] CONCAT函数 | CONCAT_WS函数
Hudas的博客
03-23 2万+
本文主要介绍CONCAT函数和CONCAT_WS函数的用法
利用Hive中concat_ws函数将多行记录合并成一行
storm_fury
05-09 3973
创建测试表 CREATE TABLE IF NOT EXISTS TEST.USERS ( id string, k1 string, k2 string, k3 string ) COMMENT '用户表' ROW FORMAT delimited fields terminated BY '\t' STORED AS TEXTFILE; 插入测试数...
Hive内嵌字符处理函数：字符函数concat_ws，locate,trim,lpad,rpad等
涤生大数据
03-06 2万+
1. 字符串长度函数：length 语法: length(string A) 返回值: int 说明：返回字符串A的长度 举例： hive> select length('abcedfg') from lxw_dual; 72. 字符串反转函数：reverse 语法: reverse(string A) 返回值: string 说明：返回字符串A的反转结果 举例： hiv...
mysql数据库中的CONCAT_WS函数和CONCAT函数
程宇寒
08-17 1万+
mysql数据库中的CONCAT_WS函数和CONCAT函数 #在字符串之间加个分隔符 SELECT CONCAT_WS("-", "江西省", "赣州市", "于都县"); SELECT CONCAT_WS("-", "江西省", NULL, "于都县"); SELECT CONCAT_WS("-", NULL, "赣州市", "于都县"); #如果分隔符是NULL，则结果为NULL SEL...
sql 拼接函数 Concat_WS（）
weixin_46484674的博客
08-24 7267
数据库元素拼接...MySQL中，函数 用来通过指定符号，将2个或多个字段拼接在一起，返回拼接后的字符串。
hive行转列、列转行
09-01
Hive中的行转列和列转行可以通过使用函数EXPLODE和LATERAL VIEW来实现。函数EXPLODE(col)用于将Hive的一列中复杂的数组或者Map结构拆分成多行。LATERAL VIEW是用于和split、explode等函数一起使用的，可以将一列展开成多列或将多列合并成一列。 举个例子来说明，假设我们有一个表person_info，其中包含name、constellation和blood_type三列。要将表中的name列中的值拆分成多行，可以使用LATERAL VIEW和EXPLODE函数，具体的语句如下： SELECT t1.base, concat_ws('|', collect_set(t1.name)) name FROM (SELECT name, concat(constellation, ",", blood_type) base FROM person_info) t1 GROUP BY t1.base; 在上述查询中，通过LATERAL VIEW和EXPLODE函数，将name列拆分成多行，然后使用concat_ws函数将拼接后的结果作为新的name列。最后，通过GROUP BY对base列进行分组。这样就实现了Hive中的行转列操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [hive列转行案例](https://download.csdn.net/download/weixin_38581777/14037437)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [hive操作（行转列，列转行）](https://blog.csdn.net/aiduo3346/article/details/102085019)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值