大数据7_04_Sqoop同步策略

4 Sqoop同步策略

小公司，为了处理简单，业务表数据量小的情况下，一般是全量导入。

中大型公司，由于数据量比较大，需要严格按照同步策略导入数据。

业务数据上传到HDFS需要一个同步策略。来保证数据两边数据是一致的。

Ø 全量表：存储完整的数据。

Ø 增量表：存储新增加的数据。

Ø 新增及变化表：存储新增加的数据和变化的数据。

Ø 特殊表：只需要存储一次。

4.1 全量同步

每日全量，就是每天存储一份完整数据，作为一个分区。

适用于数据量不大，且每天既会有新数据生成，也会有旧数据更改的场景。

4.2 增量同步

每日增量，就是每天存储一份增量数据，作为一个分区。

适用于数据量大，且每天只会有新数据插入的场景。

4.3 新增及变化同步

每日新增及变化，就是存储创建时间和操作时间都是今天的数据。

适用于表的数据量大，既会有新增，又会有变化。

4.4 特殊情况

某些特殊的维度表。

1 客观世界维度，没有变化的客观世界的维度。

比如性别、地区、民族、政治成分、鞋子尺码等只存一份固定值。

2 日期维度

一次性导入一年或者若干年的数据。