在 Apache Hive 中,联合查询(Union)是一种将多个 SELECT 语句的结果集合并起来的操作。联合查询的结果集包含了所有参与 SELECT 语句的行,并且会自动去除重复的行。
联合查询的基本语法如下:
SELECT column1, column2 FROM table1
UNION
SELECT column1, column2 FROM table2;
这里的 SELECT 语句可以是简单的查询,也可以是复杂的查询,只要它们的列数相同,对应列的数据类型也兼容即可。
联合查询的规则:
列数相同:每个 SELECT 语句选择的列数必须相同。
数据类型兼容:对应列的数据类型必须兼容。
去重:默认情况下,联合查询会去除结果集中的重复行。
排序:如果需要对结果集进行排序,只能对最终的结果集进行排序,而不是每个 SELECT 语句单独排序。
示例:
假设我们有两个表 table1 和 table2,我们想将这两个表中的数据联合起来:
SELECT name, age FROM table1
UNION
SELECT name, age FROM table2;
这个查询会返回 table1 和 table2 中的所有行,并且自动去除重复的行。
联合查询与 UNION ALL:
如果需要保留重复的行,可以使用 UNION ALL:
SELECT name, age FROM table1
UNION ALL
SELECT name, age FROM table2;
在这个查询中,如果 table1 和 table2 中有相同的行,它会全部出现在结果集中,不会去重。
注意事项:
执行联合查询时,Hive 会将多个 SELECT 语句的结果集合并起来,这可能会消耗较多的资源,特别是当处理大量数据时。
UNION 操作符会尝试对结果集进行排序,如果无法排序,或者排序开销过大,可以尝试在每个 SELECT 语句中添加 ORDER BY 子句来分别对每个结果集进行排序。