大数据学习（十）hive函数split、explode、lateral view用法

这三个函数老是一同出现，今天放到一起来讲讲

一、split函数  -- 分割函数

1. split(string str, string pat)

返回值：array

按照pat字符串分割str，会返回分割后的字符串数组

例子: hive> select split('abcdef', 'c') from test; ["ab", "def"]

如果遇到特殊字符，需要加上转义字符\\

二、explode函数 -- 行转列

explode()函数是用于打散行的函数，将一行的数据拆分成一列
语法: explode(array/map类型)
参数必须为map或array

例子:

select (array('A','B','C','D')) as zimu

A

B

C

D

三、 lateral view函数

lateral view 主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表进行笛卡尔积，从而得到明细表。一般情况下经常与explode函数搭配，explode的操作对象（列值）是 ARRAY 或者 MAP ,可以通过 split 函数将 String 类型的列值转成 ARRAY 来处理。
 

在其他博主看到的，值得借鉴！

使用lateral view的时候需要注意的几点：

1. lateral view的位置是from后where条件前；

2. 生成的虚拟表的表名不可省略；

3. from后可带多个lateral view；

4. 如果要拆分的字段有null值，需要使用lateral view outer 替代，避免数据缺失，这个坑我在工作中踩过！