数据同步策略

数据同步策略类型包括:全量同步,增量同步、新增及变化、特殊情况

  • 全量表:存储完整的数据

  • 增量表:存储新增加的数据

  • 新增及变化:存储新增加的数据和变化的数据

  • 特殊表:只需存储一次

全量同步策略

每日全量,作为一个新分区。适用于数据量不大,每天都有新增数据及更新数据的场景。如图书欠费信息。

增量同步策略

每日增量,即每天存储一份新增数据量作为一个分区。适用于数据量大,且只有新数据插入的场景。如一卡通消费记录表。数据同步时,where子句只需要判断记录创建时间字段。

新增及变化策略

每天新增及变化,即存储创建时间和操作时间都是今天的数据。适用于数据量大,既有新增又有变化,如用户表、图书借阅表等。数据同步时,where子句需要判断记录创建时间和最后编辑时间两个字段。

特殊策略

基本不会发生变化的表,可以只村一份固定值。如民族代码表。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值