数据同步策略类型包括:全量同步,增量同步、新增及变化、特殊情况
-
全量表:存储完整的数据
-
增量表:存储新增加的数据
-
新增及变化:存储新增加的数据和变化的数据
-
特殊表:只需存储一次
全量同步策略
每日全量,作为一个新分区。适用于数据量不大,每天都有新增数据及更新数据的场景。如图书欠费信息。
增量同步策略
每日增量,即每天存储一份新增数据量作为一个分区。适用于数据量大,且只有新数据插入的场景。如一卡通消费记录表。数据同步时,where子句只需要判断记录创建时间字段。
新增及变化策略
每天新增及变化,即存储创建时间和操作时间都是今天的数据。适用于数据量大,既有新增又有变化,如用户表、图书借阅表等。数据同步时,where子句需要判断记录创建时间和最后编辑时间两个字段。
特殊策略
基本不会发生变化的表,可以只村一份固定值。如民族代码表。