我们经常用union操作是来连接两个或者多个查询结果。但在hive中使用需要注意避免几个坑:
1、union和union all的选择。
Hive在1.2.0之前的版本只支持union all,在1.2.0之后的版本才支持union。在老版本中使用union连接,会报错,并且会提醒你加上all。
union all和union的区别在于:连接后,union all会保留重复的记录而union不会。也就是说在老版本使用完union all后,如果有去重需要的话,需要自行再distinct一下。
2、列名和列数需要一一对应。
用来union all的两段查询语句,其列的数量、名称、顺序都需要保持一致。
比如select A,B from T
就不能和select A,B,C from T
union在一起,因为列数不一致;
比如select A,B from T
就不能和select A,C from T
union在一起,因为列的名称不一致;
比如select A,B from T
就不能和select B,A from T
union在一起,因为列名的顺序不一致;
(持续更新)