如何判断数据是增量分区,还是全量分区
(保存数据T-1的全量,通常保存进一个月的数据为T-1的全量)
增量形式:不包含历史所有的数据,只是当天的数据 where dt between ‘T-7’ and ‘T-1’
2020-12-19 1000000 (当天数据)
2020-12-18 1200000
2020-12-17 1009000
全量形式: where dt=‘T-1’ 多表关联
2020-12-19 1000000 (当天+历史所有数据)
2020-12-18 9900000
2020-12-17 9809000
…
工作中常用 全量分区:防止数据丢失,数据回滚可以取到
进一步可以保证数据不丢失,业内 7天全量分区30天全量分区