Hive "行转列"和"列转行"

最新推荐文章于 2024-04-17 16:38:38 发布
最新推荐文章于 2024-04-17 16:38:38 发布
阅读量6.6k 收藏 7
点赞数
分类专栏： 数据分析 BI Hive 文章标签： Hive 行转列 列转行 concat_ws explode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lixiaotaoplus/article/details/43916549
版权

在HIVE实际开发过程中，我们会遇到“行转列”和“列转行”的场景。比如：

1、  需要取“订单号”对应的所有商品“SKU号”，商品“sku号”放在一列，即从table1查询出table2；

2、  当商品“sku号”均在一列的时候，需要查询每个“sku号”对应的“订单号

最低0.47元/天 解锁文章
lixiaotaoplus
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive中的行转列和列转行
zhr2415658919的博客
12-05 2290
在使用Hive的数据开发工作中，为了处理复杂的业务需求，经常要用到行转列或列转行的操作。为了节省以后处理这类工作的时间，提高工作效率，现将Hive行列互转的操作方法总结如下。列转行，顾名思义，将原本某列中一行的数据拆分为多行，该操作会使得数据行数增多。我们采用的方法是使用LATERAL VIEW语法，配合explode函数（或其他UDTF）Hive中是有可以直接将一行输出为多行的函数的（即UDTF），比如explode函数，举一个例子来说明这个函数的用法，数据集如下： 其中score字段为数组ARRAY(B
Hive sql 行列转换(行转列，列转行)
一直在水些技术小文
07-29 1311
是concat的特殊形式，第一个参数是分隔符，分隔符会放到要连接的字符串之间,分隔符可以是字符串，也可以是其他参数。select分类字段,concat_ws(’,’,collect_set(合并字段))as别名fromtable_namegroup分类字段;select字段,字段别名fromtable_namelateralviewexplode（split(拆分字段,分隔符)）表别名as字段别名;例concat_ws(‘,’,[‘a‘,‘b’])–>‘a,b’...
【Hive】（十）Hive 行转列、列转行详解_hive 字段变成行
最新发布
2401_84182318的博客
04-17 1189
(img-a9P0O62O-1713343047398)]把星座和血型一样的人归类到一起。
【大数据Hive3.x数仓开发】HiveSQL行转列应用-多行转多列case when&多行转单列concat_ws,collect
锵锵锵锵蒋的博客
04-08 858
关于多行转多列，多行转单列的应用场景及实现，涉及case when,concat_ws，collect等函数。
Hive进阶函数之【分割函数（split)、行转列函数（explode)、lateral view】
是故事啊~关注我~
06-20 4097
Hive进阶函数之【分割函数（split)、行转列函数（explode)、lateral view】1、split 函数—分割 2、explode函数—行转列 2.1 用于array类型的数据 2.2 用于map类型的数据 2.3 如何将其用入string类型的数据 2.4 explode函数的局限性 3、lateral view作用： split()函数是用于切分数据，也就是将一串字符串切割成了一个数组，语法: split(string str, string pat) string str ：待分割字符
Hive SQL实现行转列跟列转行
alie_123的博客
12-15 341
原理：将UDTF（表生成函数）的结果构建成一个类似于视图的表，然后将原表中的每一行和UDTF函数输出的每一行进行连接，生成一张新的虚拟表。from 表名 lateral view UDTF(xxx) 侧视图名 as 字段名;以上就是hive SQL中行列转换的具体解决方案了。1、首先将单列数据先切割再使用炸裂函数炸开；2、同时配合侧视图生成最后完整表。
hive列转行案例
01-07
hive列转行 1．函数说明 EXPLODE(col)：将 hive 一列中复杂的 array 或者 map 结构拆分成多行。 LATERAL VIEW ： 用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias 解释：用于和 split, explode 等 ...
Python pandas 列转行操作详解(类似hive中explode方法)
09-16
本文将详细讲解如何在pandas中进行列转行的操作，类似于Hive中的explode方法，这对于处理包含列表或者数组的数据尤为有用。 首先，我们来看一个简单的例子。假设有一个DataFrame `df`，其中包含两列：`A` 和 `B`，`...
HIVE多行转多列 和 多列转多行
01-07
1、HIVE多行转多列 源数据样式 把CAMERA_NO，RESULT_DATA两列转换为CAMERA_NO字段的数据为列名，RESULT_DATA字段对应CAMERA_NO的数据为值 方法一：利用str_to_map函数 alter table ods.iot.iot_5060_iotdaq.5060_...
hive常用运算和函数.docx
10-12
hive常用运算和函数.docx
C和指针之反转字符串
码莎拉蒂
10-29 2206
1、问题 把参数字符串中字符反向排序，请使用指针而不是数组下标，不要使用任何C函数库中 2、实现 #include #include /** * *函数把参数字符串中字符反向排序，请使用指针而不是数组下标，不要使用任何C函数库中 *用于操作字符串的函数. */ void reverse_string(char *string) { if (string ==
【Hive】（十）Hive 行转列、列转行详解
云祁QI
12-17 2699
文章目录一、行转列1．相关函数说明2．数据准备3．需求4．创建本地constellation.txt，导入数据5．创建hive表并导入数据6．按需求查询数据二、列转行1．函数说明2．数据准备3．需求4．创建本地movie.txt，导入数据5．创建hive表并导入数据6．按需求查询数据 一、行转列 1．相关函数说明 CONCAT(string A/col, string B/col…)：返回输入字...
Hive sql 行转列
sruokun的博客
03-24 3169
Hive sql 行转列（简单与进阶用法，附业务场景）
关于hive的行转列、列转行的用法
henri_的博客
01-10 240
hive 行专列 CONCAT() :返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(_, A, B,…):它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间; 列转行 EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行 LATERAL VIEW：LATERAL V
Hive之行转列-合并多列-列转行
热门推荐
onway_goahead的博客
03-28 1万+
行转列：collect_list(不去重) collect_set(去重) 它们都是将分组中的某列转为一个数组返回，不同的是collect_list不去重而collect_set去重 concat_ws(',',collect_set(column)) 做简单的实验加深理解，创建一张实验用表，存放用户每天点播视频的记录： 1 2 3 4 5 ...
Hive行转列，列转行
Wei_HHH的博客
08-29 7552
下面举两个例子： 例一: 行转列 数据： a b 1 a c 2 a b 3 c d 4 c d 5 c d 6 转化为： a b 1,2,3 c d 4,5,6  创表 Hive>create table test1 (col1 String,col2 String,col3 String) row format delimited fields terminat
hive实现多列转行
起早贪黑写bug
09-12 1603
业务上遇到了一个问题，原来的列名变为现在的新列的值，原来列的值变为新的列 问题模型如下 而我想实现的样子是这样的 其实笨一点的方法的用连表查询或者用union的方法都可以实现，但是我的实际业务列比这个多很多，而且当数据量大的时候连表效率就会很低于是去寻找了更简洁的方式 实现方式如下 代码如下： select a.id ,b.label ,b.value from test0912_wkl a LATERAL VIEW explode (map( ‘yuwen’, yuwen ,‘shuxue’, sh
内联函数online的定义和作用
qq_44667165的博客
09-26 3540
说明： 内联函数是一个小型函数，以牺牲空间来节省函数调用带来的额外开销，一般用以比较小函数或者使用频率很高的函数，函数内部内部没有复杂的语句，如开关语句switch，循环语句for等 定义： （1）在 C++ 中，可以在定义函数时，在返回值类型前面加上 inline 关键字 inline int max() { ...... return 0; } （二）直接在类的内部进行函数的声明和定义,则默认其是内联函数 class A { public: int max() { ...... ret
hive行转列、列转行
09-01
Hive中的行转列和列转行可以通过使用函数EXPLODE和LATERAL VIEW来实现。函数EXPLODE(col)用于将Hive的一列中复杂的数组或者Map结构拆分成多行。LATERAL VIEW是用于和split、explode等函数一起使用的，可以将一列展开成多列或将多列合并成一列。 举个例子来说明，假设我们有一个表person_info，其中包含name、constellation和blood_type三列。要将表中的name列中的值拆分成多行，可以使用LATERAL VIEW和EXPLODE函数，具体的语句如下： SELECT t1.base, concat_ws('|', collect_set(t1.name)) name FROM (SELECT name, concat(constellation, ",", blood_type) base FROM person_info) t1 GROUP BY t1.base; 在上述查询中，通过LATERAL VIEW和EXPLODE函数，将name列拆分成多行，然后使用concat_ws函数将拼接后的结果作为新的name列。最后，通过GROUP BY对base列进行分组。这样就实现了Hive中的行转列操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [hive列转行案例](https://download.csdn.net/download/weixin_38581777/14037437)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [hive操作（行转列，列转行）](https://blog.csdn.net/aiduo3346/article/details/102085019)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值