数据采集汇聚----全量和增量
数据如果保留多份,就会存在一致性问题,就需要同步。数据同步一般有两种方式:全量和增量。数据如果要保留副本,要么同时写(就是多写),或者进行复制:异步写(即从主数据拷贝到副本);全量1.每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方;2.可以采用直接全部覆盖(使用“新”数据覆盖“旧”数据);或者走更新逻辑(覆盖前判断下,如果新旧不一致,就更新);3.这里面有一个隐藏的问题:如果采用异步写,主数据物理删除了,怎么直接通过全量数据同步?这就需要借助一些中间操作日志文件,或者其.