ETL过程中的全量和增量同步

ETL过程中的全量和增量同步

一. 数据的同步方式主要分为两种方式

1. 全量同步

   ​ 对源数据进行全部抽取到目的源上，相当于将文件完全复制一份到目的地，该方式可以完全保证数据的一致性问题。

2. 增量同步

   ​ 对源数据上次增量增量操作后的新增的数据进行同步的过程，比如，同步昨天的增量的数据，那么就

   只需将源数据中的昨天产生或变化的数据同步即可。由于需要将新增的数据同步到目的端，中间需要一些策略判断，多次同步后就难以保证源数据和目的数据的一致性。

二. 两种同步方式的使用场景

1. 全量同步主要是对数据量少的表，比喻电商项目中的商品表、用户表、商户表、地区表、订单状态等实体和维度表，这类数据量少，可以使用全量同步。
2. 增量同步主要是针对数据量庞大的大的场景，比喻订单表，每天产生的订单表数据量庞大，如果使用全量同步，数据占用磁盘的将会非常恐怖，所以一般会采用增量同步的方式。