ETL过程中的全量和增量同步
一. 数据的同步方式主要分为两种方式
-
全量同步
对源数据进行全部抽取到目的源上,相当于将文件完全复制一份到目的地,该方式可以完全保证数据的一致性问题。
-
增量同步
对源数据上次增量增量操作后的新增的数据进行同步的过程,比如,同步昨天的增量的数据,那么就
只需将源数据中的昨天产生或变化的数据同步即可。由于需要将新增的数据同步到目的端,中间需要一些策略判断,多次同步后就难以保证源数据和目的数据的一致性。
二. 两种同步方式的使用场景
- 全量同步主要是对数据量少的表,比喻电商项目中的商品表、用户表、商户表、地区表、订单状态等实体和维度表,这类数据量少,可以使用全量同步。
- 增量同步主要是针对数据量庞大的大的场景,比喻订单表,每天产生的订单表数据量庞大,如果使用全量同步,数据占用磁盘的将会非常恐怖,所以一般会采用增量同步的方式。