YYHgoodjob的博客

原创 在hive或者oracle合并历史表和当前表中容易踩过的坑

于是尝试选择 over partition by这个去排序，结论也快不了多少，而且很多情况下不了解主键，总体代码量来说要少不少。于是想到用unoin all + group by 的方式去去重，效率提升不少，但是代码量增多，用到的字段得一个个找出来去写一个查询语句再合并到一起比较麻烦。然后采用 union 去直接合并，也不行在开发环境中表没数据，以上生产数据量一大就需要很长时间，于是也不能采用。（有一种情况可以使用union all 不产生重复数据，就是当历史表不更新的时候，也就是每天只跑当前表）