全量表:没有分区,包含截止目前所有的数据。
INSERT OVERWRITE TABLE $target.table PARTITION (datekey='$now.datekey')
INSERT OVERWRITE只是删除原有的分区并插入元素,其余分区不受到影响
这里创建一个动态分区快照日期,该目标表每天存放的是该天以前所有的数据
如
select *
from table
where datekey=20180701
则可以获取到20180701以前所有的数据
增量表:只包含一天或一周期内增加的数量
如
select *
from table
where datekey=20180701
则只是查询到20180701一天的数量量
快照表:按天分区,存储到今天所有的数据。