Hive之explode和lateral view

Hive之explode

一. explode, 行转列。

1.1. 用于array类型的数据

• table_name 表名
• array_col 为数组类型的字段
• new_col array_col被explode之后对应的列

select explode(array_col) as new_col from table_name

1.2. 用于map类型数据时的语法如下

• 由于map是kay-value结构的，所以它在转换的时候会转换成两列，一列是kay转换而成的，一列是value转换而成的。
• table_name 表名
• map_col 为map类型的字段
• may_key_col, may_value_col 分别对应map_col被拆分之后的map映射里的key 和 value

select explode(map_col) as (may_key_col, may_value_col) from table_name

二. explode函数的局限性

• 不能关联原有的表中的其他字段。
• 不能与group by、cluster by、distribute by、sort by联用。
• 不能进行UDTF嵌套。
• 不允许选择其他表达式。

三. lateral view

lateral view 用于和UDTF相结合使用。他会将UDTF生成的结果放在一张虚拟表zhong(即lateral view里)。虚拟表相当于再和主表关联, 从而达到添加“UDTF生成的字段“以外的字段, 即主表里的字段或者主表运算后的字段。

3.1 第一种形式

select o.*, table_view.new_col
from table_origin o
lateral view UDTF(expression) table_view as `new_col_1`, `new_col_2`

• lateral view 表示将UDTF分裂的字段放在虚拟表中, 然后和主表table_origin进行关联。(个人理解，关联条件应该是UDTF里的expression所产生的关联条件)
• UDTF(expression)：复合逻辑规则的UDTF函数，最常用的explode
• table_view : 对应的虚拟表的表名
• new_col: 虚拟表里存放的有效字段
• from子句后面也可以跟多个lateral view语句，使用空格间隔就可以了。 需要找示例验证一下使用方法

转载于:https://www.cnblogs.com/Sinkinghost/p/11590408.html