LATERAL VIEW基础概念

在Hive SQL中，LATERAL VIEW通过对表中的每一行应用一个用户自定义表生成函数（UDTF，User Defined Table Generating Function），从而将这一行中的复杂数据结构（如数组、映射或结构体）展开为多行记录，如配合SPLIT、EXPLODE等函数将一列数据拆成多行数据，并对拆分后的结果进行聚合。

其基础语法如下所示：

LATERAL VIEW [OUTER] <udtf_name>(<expression>) <table_alias> AS <column_alias>; 

式中，udtf_name为将一行数据拆成多行数据的UDTF；expression为待拆分行数据所属列名；table_alias为UDTF结果集的别名；column_alias为拆分后得到的列的别名。

假设已有一张表table_a，其字段分别为id/STRING，column_a/ARRAY<BIGINT>，column_b/ARRAY<STRING>。其数据如下所示：

id	column_a	column_b
1	[1,2,3]	['a','b','c']
2	NULL	['d','e','f']

我们执行如下语句：

SELECT id, column_new, column_b FROM table_a 
LATERAL VIEW EXPLODE(column_a) tmp_a AS column_new;

其结果会如下所示：

id	column_new	column_b
1	1	['a','b','c']
1	2	['a','b','c']
1	3	['a','b','c']

在这个例子中，EXPLODE函数将数组中的每一个元素变成单独的一行。LATERAL VIEW将这个函数应用于table_a表的每一行，并生成一个新的临时表，这个表包含了table_a原始表的所有列加上由EXPLODE函数生成的新列。

同时，由于table_a表中第二行的column_a字段为NULL，该条记录因而被省去，为避免此种情况产生，我们需要在语句中加入OUTER关键词，即(LATERAL VIEW OUTER) 以保证NULL值对应的输入行在LATERAL VIEW结果中依然保留。

其结果会如下所示：

id	column_new	column_b
1	1	['a','b','c']
1	2	['a','b','c']
1	3	['a','b','c']
2	NULL	['d','e','f']

如上所述，使用LATERAL VIEW可以帮助我们在查询中扁平化这些复杂结构(ARRAY、JSON等)，使得每一项都可以作为一个独立的列被访问。这对于数据分析十分有效，因为它允许我们更灵活地处理数据。