数据同步的一些想法【持续更新】

数据同步的一些思考

之前遇到过很多关于主备库同步更新数据的问题，

一开始是delete或者TRUNCATE之后全量插入，但是数据量再大之后，会严重影响效率、加重服务器负担，甚至导致锁表，

看到有人说用：

native的SQL把两步合并成一个SQL，如在MySQL中：

insert into … on duplicate key update …;

对于Oracle，有：

merge into … using … when matched then … when not matched then …

但是这样对于已经存在但是我又不需要的数据应该怎么处理呢？

 数据同步一般分为两种方式：全量和增量。

 

1  全量

全量，这个很好理解。就是每天定时（避开业务高峰期）或者周期性全量把数据从一个地方拷贝到另外一个地方；

全量的话，可以采用直接全部覆盖（使用“新”数据覆盖“旧”数据）；或者走更新逻辑（覆盖前判断下，如果新旧不一致，就更新）；

这里面有一个隐藏的问题：如果采用异步写，主数据物理删除了，怎么直接通过全量数据同步？这就需要借助一些中间操作日志文件，或者其他手段，把这些“看不到”的数据记录起来。

2 增量

增量的基础是全量，就是你要使用某种方式先把全量数据拷贝过来，然后再采用增量方式同步更新。

增量的话，就是指抓取某个时刻（更新时间）或者检查点（checkpoint）以后的数据来同步，不是无规律的全量同步。这里引入一个关键性的前提：副本一端要记录或者知道（通过查询更新日志或者订阅更新）哪些更新了。

 确定更新点

采用更新时间戳、有的采用checkpoint等来标识和记录更新点。

checkpoint机制还是很靠谱的，但是对于性能消耗还有待深入研究

 

 

资料：https://www.cnblogs.com/big1987/p/8522884.html