大数据ETL增量采集、全量采集区别

数据采集指的是是数据库1（业务系统）的1张表A，采集到数据库2（数据中台）的1张表B（B表为数据中台基础模型，必须要有时间分区字段，p_day或者p_mon）。

有以下2种情况：

1、A表如果是账期表，表为A_20231215，那一般直接按照账期汇聚采集到B表的p_day=20231215，存的数据就是A_20231215

2、A表如果非账期表，表名为A_info这种，就要看表里是不是有类似账期的字段能做增量采集，例如A_info里有个fee_day计费日期，数据是20231215-20240124

        （1）那么按照fee_day增量采集的话，这个p_day=fee_day，B表里的数据是一天的数据；

        （2）要进行全量采集的话就是p_day=‘task_id’，B表里数据是fee_day=20231215到20240124的全量数据。

日全量：一天的表B对应存全量的表A数据，不断累积，这个量会很大，重复存储，默认存储7天；

日增量：一天的表B对应存一天的表A数据，默认存储60天。

月表同理。