hive之行列转换

最新推荐文章于 2022-04-28 15:34:59 发布
最新推荐文章于 2022-04-28 15:34:59 发布
阅读量130 收藏
点赞数
分类专栏： 大数据 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44776813/article/details/111866591
版权

同行不同列的连接

 concat(连接一,'连接符',连接二,'连接符','连接三'.......)
 可以把一行中多个字段相连接并生成一个新字段
 
 concat_ws('连接符',连接一,连接二.........)
 作用于concat()类似，但更加方便

同列不同行的连接

 collect_set(字段一，字段二)
 把一列中的某些字段放在一个字段中

行转列

 explode(字段)
 把一个map或array类型的字段炸开，拆开成多行
 
 lateral view explode(字段名) 表名 as 新生成的字段名
 与前面的字段发生映射
ctp6666999
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive行列转换
weixin_54707168的博客
02-05 1342
lateral view explode 列转行 lateral view 和 explode 将 hive 一系列中复杂的 array 或者 map 结构拆分成多行数据，在此基础上可以对拆分后的数据进行聚合。 思路： 先用 split 函数将 C 列分割成数组； 再使用 lateral view 结合 explode 炸裂。 selectA,B,C_newfromtable1 lateralviewexplode(split(C,","))temp_table...
hive的行列转换
Mrerlou的博客
09-05 158
需求： 《疑犯》 悬疑,动作,科幻,爱情《lie to me》 悬疑,警匪,动作,心理,剧情《战狼》 战争,动作,灾难 转成如下格式： 《疑犯》 悬疑《疑犯》 动作《疑犯》 科幻《疑犯》 爱情《lie to me》 悬疑《lie to me》 警匪《lie to me》 动作《lie to me》 心理《lie to me》 剧情《战狼》 战争《战狼》 动作《战狼》 灾难 思路解析： e...
hive行列转换
weixin_47699191的博客
08-05 447
1.一行转多行 --数据 vi test.txt a b 1,2,3 c d 4,5,6 -- 建表 create table test( col1 string, col2 string, col3 string ) comment'一行转多行测试表' row format delimited fields terminated by '\t' stored as textfile; -- 加载数据 load data local inpath '/root/col_to_row.tx
Hive语法详解
02-11
Hive语法详解: 包括DDL,DML,DQL语法; Hive内置函数及自定义函数; Hive窗口函数及行列转换; hive常见优化
第5章：Hive函数重要应用案例1
08-08
Hive提供`stack()`函数进行行列转换，将列数据转化为行数据，适用于数据透视等操作。 ### 2.8 JSON解析 Hive可以利用`get_json_object()`等函数解析JSON字符串，`JSONSerde`则能帮助Hive直接处理JSON格式的数据列。...
sql行列转换、一个字段包含另一个字段.sql
08-17
sql行列转换、一个字段包含另一个字段.sql
Hive语法详解.docx (排版清晰,覆盖全面,含目录)
08-27
说明:重新排版的个人版Hive语法(一文在手,hql无忧) Hive语法详解: 内容分9个章节 包括安装及配置; DDL,DML,DQL语法; Hive内置函数及自定义函数;...Hive窗口函数及行列转换; Hive注意事项及常见优化; ...
大数据技术之企业真题V2.0.0.pdf
08-21
- **SQL查询**：考察SQL操作，如行列转换、统计连续登陆天数等复杂查询。 - **LeetCode刷题**：通过刷题提升解决问题的能力，熟悉面试常考题型。 4. **HR部分**： - **跳槽原因**：提前准备合理且积极的跳槽理由...
hive 行列转化
KANGBboy的博客
09-28 192
select explode(split(regexp_replace(‘sdfsd1232sdf324’,’[0-9]+’,’,’),’,’)) union all select explode(split(regexp_replace(‘sdfsd1232sdf324’,’[a-z]+’,’,’),’,’)) select regexp_extract(‘honeymoon’, ‘hon(.*?)(moon)’,2); select explode(array(‘A’,‘B’,‘C’)) select
Hive sql 行列转换(行转列，列转行)
热门推荐
橘子的博客
09-22 2万+
在Hive sql应用中会遇到“行转列”和“列转行”的场景，下面介绍其基本使用语法。 1.行转列： 关键字：collect_set() / collect_list()、concat_ws() 1）collect_set()/collect_list()：collect_set( )函数只接受基本数据类型，作用是对参数字段进行去重汇总，返回array类型字段; collect_list()函数和collect_set( )作用一样，只是前者不去重,后者去重。2）concat_ws()：concat_w
Hive行列转换使用
Mr.pan felix的专栏
06-17 469
Hive典型应用场景之行列转换 在使用Hive处理数据时，经常遇到行列转换的场景，本文将对Hive的行列转换操作做详细的说明。 行转列 1）多行转多列 假设数据表 row2col： col1 col2 col3 a c 1 a d 2 a e 3 b c 4 b d 5 b e 6 现在要将其转化为： col1 c d e a .
Hive中行列转换详解
qq_36382679的博客
06-24 2010
Hive中行列转换详解 1 行转列 1.1 多行转多列 数据表 row2col col1 col2 col3 a c 1 a d 2 a e 3 b c 4 b d 5 b e 6 现在要将其转化为： col1 c d e a 1 2 3 b 4 5 6 此时需要使用到ma
工作中Hive的行列转换
weixin_42656794的博客
06-12 458
hive的行列转换，个人理解就是一变多，多变一的过程。 一，行转列 在项目中遇见这样一个问题，原始数据经过处理以后是这样的 前者是话题ID，后面是与话题相似的前30个话题ID 因为要过滤掉用户已经接触过的话题ID，所以，需要将这个数据变成以下的格式 17796 16224 17796 17385 … 在hive中创建映射表 create external table category_r...
hive-行列互转，posexplode、lateral view、concat、collect
DCHAO的博客
04-28 6365
行转列 正常数据以列分组，group by 后面跟的是列。行是数据，列是维度。 如果更换维度，使用拼接的列 一行的单元格原来是数据，现在跟其他单元格拼接成为分组依据， 先把单元格拼接起来，然后以拼接后的值为维度，拼接后的值就成了列 列转行 将一单元格中的数据拆分后分散为多行 .........
大数据之hive：行列转换系列总结
weixin_43597208的博客
08-22 5408
目录1、行转列（一）主要使用：示例2、列转行（一）示例3、行转列（二）示例4、列转行（二）示例 1、行转列（一） 主要使用： CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,…)：它是一个特殊形式的 CONCAT()。第一个参数是剩余其他参数间的分隔符。 COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型
hive操作（行转列，列转行）
aiduo3346的博客
09-05 4078
一、行转列 1．相关函数说明 CONCAT(stringA/col,stringB/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator,str1,str2,...)：它是一个特殊形式的CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是NULL，返回值也将为NULL。这个...
Hive 行列转换
weixin_30745641的博客
12-21 319
一、列转行 (对某列拆分，一列拆多行) 使用函数：lateral view explode(split(column, ',')) num eg: 如表：t_row_to_column_tmp 数据如下，对tag列进行拆分 SQL代码： select id,tag,tag_new from t_row_to_column_tmp lateral view explode(spl...
hivesql行列转换
最新发布
09-29
行列转换是指将表格中的行数据转换为列数据或将列数据转换为行数据的操作。在HiveQL中，可以使用LATERAL VIEW和UDTF函数来实现行列转换。LATERAL VIEW用于在查询中使用表的某一列作为输入参数，UDTF函数则用于将输入参数转换为多个输出列或行。 例如，在SELECT语句中使用LATERAL VIEW和UDTF函数可以实现列转行的功能。通过将表的一列作为输入参数，使用COLLECT_SET函数将相同输入参数值的其他列值收集到一个集合中。 下面是一个示例： SELECT id, COLLECT_SET(case when key = 'address' then value end) as address, COLLECT_SET(case when key = 'school' then value end) as school FROM table_info GROUP BY id; 在这个示例中，根据id分组，使用COLLECT_SET函数将key为'address'和'school'的value值分别收集到address和school这两个集合中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值