大数据量同步方案之全量同步改为增量同步解决方案

背景描述：

　　在一些大数据运用场景中，由于上游数据每天都在变化着，在需要用这些数据的下游系统需要每天刷新这些变化的数据，当数据量小时候，简单粗暴的方式就是每次全量更新数据，但随着业务的增长，数据量成几何方式增长时（达到亿级别甚至更多），每次的更新工作将是耗时耗力的，也是业务方无法忍受的。此时，就需要一种解决方案变全量同步为增量同步。

解决方案：

　　考虑到数据量基数虽然大，但每天变化的数据量却是有限的（包括：add和update），所以只需每天更新变化的记录行即可。参考以下流程图的方案：

说明：
1、过程分两步：首次全量更新，之后每天增量更新变化的信息。
2、一定要注意步骤的执行顺序，例如：先删除失效数据再同步变化的数据（当然实际中很多数据库中间件能够支持覆盖更新功能，此时此步骤可省略，皆大欢喜），而删除超期数据则什么时间执行都没问题。
3、在上述基础上，最好定时（例如每周一次或每月一次）全量删除重新推送数据进行数据矫正，不失为一种好的补偿方案。
4、流程图中没有考虑delete的数据，是由于在互联网中一般数据只需逻辑删除，不做逻辑删除，因此，delete过程（udpate status=-1）实质是update过程，该记录归属于update的信息。

方案效果：

　　经测试效果，1.5亿的数据量，实际业务大部分的数据是不变化的，每天变化的数据只有几百万，由原来每天全量更新5个小时缩短为每天增量更新20分钟左右，提高效果惊人，呵呵！