在Hive SQL中,LATERAL VIEW通过对表中的每一行应用一个用户自定义表生成函数(UDTF,User Defined Table Generating Function),从而将这一行中的复杂数据结构(如数组、映射或结构体)展开为多行记录,如配合SPLIT、EXPLODE等函数将一列数据拆成多行数据,并对拆分后的结果进行聚合。
其基础语法如下所示:
LATERAL VIEW [OUTER] <udtf_name>(<expression>) <table_alias> AS <column_alias>;
式中,udtf_name为将一行数据拆成多行数据的UDTF;expression为待拆分行数据所属列名;table_alias为UDTF结果集的别名;column_alias为拆分后得到的列的别名。
假设已有一张表table_a,其字段分别为id/STRING,column_a/ARRAY<BIGINT>,column_b/ARRAY<STRING>。其数据如下所示:
id | column_a | column_b |
1 | [1,2,3] | ['a','b','c'] |
2 | NULL | ['d','e','f'] |
我们执行如下语句:
SELECT id, column_new, column_b FROM table_a
LATERAL VIEW EXPLODE(column_a) tmp_a AS column_new;
其结果会如下所示:
id | column_new | column_b |
1 | 1 | ['a','b','c'] |
1 | 2 | ['a','b','c'] |
1 | 3 | ['a','b','c'] |
在这个例子中,EXPLODE函数将数组中的每一个元素变成单独的一行。LATERAL VIEW将这个函数应用于table_a表的每一行,并生成一个新的临时表,这个表包含了table_a原始表的所有列加上由EXPLODE函数生成的新列。
同时,由于table_a表中第二行的column_a字段为NULL,该条记录因而被省去,为避免此种情况产生,我们需要在语句中加入OUTER关键词,即(LATERAL VIEW OUTER) 以保证NULL值对应的输入行在LATERAL VIEW结果中依然保留。
其结果会如下所示:
id | column_new | column_b |
1 | 1 | ['a','b','c'] |
1 | 2 | ['a','b','c'] |
1 | 3 | ['a','b','c'] |
2 | NULL | ['d','e','f'] |
如上所述,使用LATERAL VIEW可以帮助我们在查询中扁平化这些复杂结构(ARRAY、JSON等),使得每一项都可以作为一个独立的列被访问。这对于数据分析十分有效,因为它允许我们更灵活地处理数据。