HIVE语法中对于UNION ALL的使用是非常常见的,主要用于多表合并的场景。UNION ALL要求各表SELECT出的字段类型必须完全匹配。
在实际使用过程中,经常会出现对多表且不同字段的结果表进行合并操作。
例如:以下六张表中除seller_id字段相同外,其他字段均不相同。需要合并这六张表,来计算每个卖家是否做过店铺名称、电话、主营类目变更等行为。
解决合并多表且字段类型不同的问题,可用以下方法:
将每张表中没有的字段在select时,用‘ ’as 相同字段名 进行处理,将每张表补成拥有相同的字段类型:
最后的新表结果如下:
可以看到对于同一个卖家,可以用一条记录表示出是否有过店铺地址变更、是否有过主营类目变更等操作。
扩展使用技巧:
类似select ‘1’as mark form dual 还有什么场景可以使用。
例如:表a:name, height,表b:name, height 合成表c:name, height
可以使用这种方法来做标记,用mark字段来标识某条记录来源于哪一张表,这种处理方法非常有利于最后的数据分析。