Hive行转列函数与列转行函数

最新推荐文章于 2024-04-18 03:46:39 发布
最新推荐文章于 2024-04-18 03:46:39 发布
阅读量962 收藏
点赞数 1
分类专栏： hive 文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hunter95671/article/details/123105586
版权
本文探讨了数据处理中常见的转换技巧，包括如何使用concat和concat_ws进行字符串连接，利用collect_set实现字段去重，以及如何通过Explode、Split和Lateralview将数据列转行或行转列。这些方法在数据分析和清洗中至关重要，能够帮助提升数据处理效率和准确性。
摘要由CSDN通过智能技术生成

行转列

concat(string,string……)：字符串连接
concat_ws(参数1，string,string……)：参数1是分隔符,按分隔符分隔连接字符串
collect_set(字段名)：将字段的值去重，产生array类型字段

列转行

Explode(字段名)：将某列中的array或map拆分成多行
Split(字段名,分隔符)：根据分隔符来切分某字段元素
Lateral view：写在split,explode等UDTF前，将一列数据拆成多行，再聚合

Hive函数07_行转列、列转行函数（实战版）
清平乐的技术专栏
04-19 1091
一、行转列 CONCAT(string A/col, string B/col ) 返回输入字符串连接后的结果，支持任意个输入字符串 CONCAT_WS(separator, str1, str2,...): 它是一个特殊形式的 CONCAT() 。第一个参数剩余参数间的分隔符。分隔符可以是与剩 余参数一样的字符串。如果分隔符是 NULL ，返回值也将为 NULL 。这个函数会跳过分隔符参数后的任...
HIVE行转列和列转行
jiantianming2的博客
01-28 1万+
行转列 select dt_month,valid_num,unvalid_num from test.test_xw_rowtocol 数据如下 转换要求：行转列需保留列名，如下图 方式一：采用union all的形式 select dt_month ,'valid_num' as type ​ ,sum(valid_num) as num
hive函数之行转列和列转行
guohuishan的博客
08-19 408
行转列：将多行转为一列 1.写数据以"\t"隔开 vim shujv.txt 孙悟空 白羊座 A 老王 射手座 A 宋宋 白羊座 B 猪八戒 白羊座 A 凤姐 射手座 A 2.建表以"\t"分割 create table person_info( name string, constellation string, blood_type string ) row format delimited fields terminated by '\t'; 3.
hive行转列，列转行函数使用说明
下山化缘的DJ
12-16 1566
hive,concat_ws(),collect_set(),collect_list(), LATERAL VIEW explode
hive行转列
aijia7039的博客
03-28 142
一、问题 hive如何将 a 1,2,3 b 4,7 c 5 转化成为： a 1 a 2 a 3 b 4 b 7 c 5 二、原始数据 cat row_column.txt a 1,2,3 b 4,7 c ...
hive函数之~行转列与列转行
weixin_42575593的博客
07-05 526
4、行转列 1．相关函数说明 CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会...
Hive--行转列/列转行
热门推荐
qq_46893497的博客
11-22 2万+
一、lateral view 分类：视图 功能：配合UDTF来使用,把某一行数据拆分成多行数据 很多的UDTF不能将结果与源表进行关联，使用lateral view ，可以将UDTF拆分的单个字段数据与原始表数据关联上 使用方式： select …… from tabelA lateral view UDTF(xxx) 视图名 as a,b,c 案例： --准备数据:vim /export/datas/lateral.txt 1 http://facebook.com/path/p1.php?q
Hive列转行函数
weixin_44516261的博客
10-03 2931
Hive列转行函数 select split("a,b,c,d",','); 效果: select explode(split("a,b,c,d",',')); 效果: 案例: 原始数据 movie category 《疑犯追踪》 悬疑,动作,科幻,剧情 《Lie to me》 悬疑,警匪,动作,心理,剧情 《战狼2》 战争,动作,灾难 需求 《疑犯追踪》 悬疑 《疑犯追踪》 动作 《疑犯追踪》 科幻 《疑犯追踪》 剧情 《Lie
Hive SQL 行转列 和 列转行 1列转多列 函数和示例
最新发布
2401_84411879的博客
04-18 1039
高 商贸高 （除上述的其他行业分类）中 IT互联网_IT信息技术中 金融_银行业|金融_保险业|金融_资本市场_证券期货中 教育中 商贸中 （除上述的其他行业分类）这样便简化了大量的开发工作，直接基于SQL便可以做匹配处理了，但是发现行业字段含有多个行业的情况，同时行业也存在细分行业，于是，便有了下面我们要介绍的，，同时，以及，下面做简单的记录：介绍==列转行（一列转多行）
Hive 行转列，Hive 列转行， UDF，UDTF
ZZJXP的博客
04-07 328
Hive 行转列 hive> create table testArray2( > name string, > weight array<string> > )row format delimited > fields terminated by '\t' > COLLECTION ITEMS terminated by ','; OK Time taken: 0.172 seconds hive
hive的分析的函数以及行转列 列转行
Zct____的博客
04-19 166
格式：聚合函数 over(partition by ... order by ...)- 规则：尽量平均分配 ，优先满足最小的桶，彼此最多不相差1个。- 功能：将分组排序之后的数据分成指定的若干个部分（若干个桶）简记：唯一且连续 巧记: 1234。简记：并列不连续 巧记: 1224。简记：并列且连续 巧记: 1223。
Hive中行转列和列转行函数
Dream_chang的博客
11-10 597
hive中行转列和列转行函数简述
Hive的行转列列转行函数使用
weixin_42759988的博客
05-30 1813
行转列： 函数说明： CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字 符串; CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参 数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将 为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接 的字符串之间; 注意: CONCAT_W
hive 列转行 行转列
littlecarton的博客
08-14 1691
1. explode explode就是将hive一行中复杂的 array 或者 map 结构拆分成多行。 hive wiki对于expolde的解释如下： explode() takes in an array (or a map) as an input and outputs the elements of the array (map) as separate rows. UDTF...
十一、行转列、列转行函数
风子的博客
05-26 5169
一、行转列 1、相关行数 CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,…)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间; COLLECT_SET(col)：函数只接受基本
[函数]Hive "行转列"和"列转行"
duketyson2009的博客
05-11 852
在Hive实际开发过程中，我们会遇到“行转列”和“列转行”的场景。比如：1、 需要取“订单号”对应的所有商品“SKU号”，商品“sku号”放在一列，即从table1查询出table2；2、 当商品“sku号”均在一列的时候，需要查询每个“sku号”对应的“订单号”，即从table2查询出table1。实现方法：1、从table1查询出table2：SELECTsale_ord_id,conca...
Hive行转列
JasonChen3318的博客
07-28 1117
需求： 孙悟空白羊座A 沙悟净射手座A白羊座，A 孙悟空|猪八戒 宋松松白羊座B=======白羊座，B 宋松松 猪八戒白羊座A...
hive行转列、列转行
09-01
Hive中的行转列和列转行可以通过使用函数EXPLODE和LATERAL VIEW来实现。函数EXPLODE(col)用于将Hive的一列中复杂的数组或者Map结构拆分成多行。LATERAL VIEW是用于和split、explode等函数一起使用的，可以将一列展开成多列或将多列合并成一列。 举个例子来说明，假设我们有一个表person_info，其中包含name、constellation和blood_type三列。要将表中的name列中的值拆分成多行，可以使用LATERAL VIEW和EXPLODE函数，具体的语句如下： SELECT t1.base, concat_ws('|', collect_set(t1.name)) name FROM (SELECT name, concat(constellation, ",", blood_type) base FROM person_info) t1 GROUP BY t1.base; 在上述查询中，通过LATERAL VIEW和EXPLODE函数，将name列拆分成多行，然后使用concat_ws函数将拼接后的结果作为新的name列。最后，通过GROUP BY对base列进行分组。这样就实现了Hive中的行转列操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [hive列转行案例](https://download.csdn.net/download/weixin_38581777/14037437)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [hive操作（行转列，列转行）](https://blog.csdn.net/aiduo3346/article/details/102085019)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值