数仓中全量数据和增量数据的合并方案

在hive数仓中我们经常会涉及到需要将ods层的历史全量数据同每天的增量数据进行合并的需求。
由于每天的增量数据中包含了新增数据和历史数据的修改，
所以合并的时候
对于新增的数据可以直接插入到全量表，
对于修改的数据需要更新全量表的对应历史数据。

两张表的字段都一样
base：全量表
log：增量表（包括新增和修改的数据）

1. sql

select * from base a where 0=(select count(1) from log b where a.id=b.id)  
union all
select * from log

先查出base表有但log表没有的数据,再查出增量log的数据，两份数据合并即可

2.开窗函数

select b.* from 
(select a.*,row_number() over(partition by id order by lastmodificationtime desc) as no from 
(select * from base union all select * from log) a) b
where b.no = 1		

先把base表和log表合并，然后再整体加开窗函数对相同id的数据按最后修改时候进行排序，取no排第一的数据即可去重

3.merge into

hive2.2之后可以使用 merge into进行数据合并

3.1 先要设置参数

set hive.support.concurrency = true;
set