hiveSQL行转列列转行

SailorGing

已于 2023-03-17 19:19:35 修改

阅读量399

点赞数

分类专栏： Hive数仓工具文章标签： hive hadoop 数据仓库

于 2023-03-17 18:53:15 首次发布

本文链接：https://blog.csdn.net/mrgui008/article/details/129626350

版权

Hive数仓工具专栏收录该内容

6 篇文章 0 订阅

订阅专栏

文章介绍了在Hive中如何进行数据的行转列和列转行操作。使用concat和concat_ws函数可将多个字段合并为一个字段，collect_set和collect_list用于处理重复数据。列转行则涉及lateralview和explode函数，包括带索引的posexplode，以及split函数对字符串的拆分处理。

摘要由CSDN通过智能技术生成

行转列

注释：多个字段的值合并成一个字段的值

主要使用函数：
	concat()       # 使用concat时，每个字段之间是否加分隔符
	concat_ws()    # 使用concat_ws时，可以依次写多个字段。注意数据类型：concat_ws CONCAT_WS must be "string or array<string>"
	collect_set()  # 去重
	collect_list() # 不去重
select concat(empno,'-',ename,'-',sal,'-',deptno) from emp;
select concat_ws('-',cast(empno as string),ename,cast(sal as string)) from emp;

列转行

注释：一个字段的值炸裂成多个字段的值

lateral view explode(集合元素) 表别名 as 列别名

lateral view posexplode(集合元素1) 表别名 as 位置1,列别名
lateral view posexplode(集合元素2) 表别名 as 位置2,列别名
where 指定第一次炸裂的哪个元素 与 第二次炸裂的哪个元素 匹配条件
 
lateral view posexplode(event_list) t1 as pos1,event
lateral view posexplode(res_list) t2 as pos2,res
where pos1=pos2; 

 
explode(col)：将hive一列中复杂的array或者map结构拆分成多行。
posexplode(col)：将hive一列中复杂的array或者map结构拆分成 带索引 的多行。
split(str, separator)：将字符串按照后面的分隔符切割，转换成字符array。