全量表
全量表 | 增量表 | |
---|---|---|
数据 | 包含到前一天的全量数据 | 前一天的增量数据 |
分区 | 不分区(ymd为当前日期)(但是也有按天全量设计的,也叫全量表) | 按照每一天分区 |
保存每天所有的最新状态的数据。
(1)全量表,有无变化,都要报
(2)每次上报的数据都是所有的数据(变化的 + 没有变化的)
一般导入数据时,不进行任何操作导入的数据就是全量表。
例如:平时使用sqoop直接导入,或者load加载,不需要任何特殊的操作,全表覆盖或者先删除表再插入数据,就是全量表。
以用户表为例,假设该表从2020-06-01开始记录数据,按天更新,分区为dt。
2020-06-01有三个用户注册,数据表如下:
2020-06-02有一名用户注册,即新增了一名用户(标红),表更新后2020-06-02分区内会记录全量的数据,包括2020-06-01的用户数据(标绿),此时数据表如下: