数据同步的几个原则

最近几年经常做些数据同步的开发工作，编码无非就那么点事，从一个数据库搬到另外一个数据库。但是，之前订立的几个原则，发现在同步过程中还是起到非常好的作用，在此记录下来，供自己和大家借鉴。

1、数据要有唯一标识

唯一标识的作用就是区分每一条数据。也就是数据的身份，至少每个表的数据都要有一个唯一标识。而且这个唯一标识在同步的每个节点都要存在。

唯一标识可以是一个或者多个字段，但是最好是一个字段，数据同步如果出现差异，你就会发现唯一标识是多么重要的东西了。

2、数据要有状态标识

数据同步很重要的一点就是数据源的数据一定不能被物理删除，如果数据源的数据被删除，那么会给后续的同步造成很大的麻烦，要么你在每次同步或者固定的时间去反查数据源。这无疑是非常痛苦的操作，如果数据量非常大，那么就是灾难了。

所以，使用逻辑删除，用一个字段标识数据的有效无效状态。那么同步过程中，仅仅是新增和更新操作，这样就很轻松解决这个问题了。

3、每条数据要有一个新增时间和更新时间

数据同步，最好是使用增量同步的方式，那么如何判断增量数据呢，有的说用自增类型，但是自增类型在有些数据库中，处理起来会比较麻烦。所以使用时间标是个很好的办法。新增记录时，新增时间和更新时间一致，当数据发生改变时，只改变更新时间。这样做，一反面可以根据更新时间判断增量的数据，另外一方面，如果数据源很好的遵循新增记录新增时间和更新时间一直，数据发生改变时，修改更新时间这一原则的话，那么可以减少在目的库进行判断数据是否存在的过程。

可能数据少的时候不是很明显，但是数据量比较大的时候，你就知道在目的库进行判断是多耗时的操作了。

4、数据同步要记录好日志

日志，平常的时候没什么用，但是如果出现问题，那么对于问题的排查就很重要了。谁也无法保证自己的程序不出一点问题，即使程序真的没问题，可能在系统的运维阶段也会出现一些你想不到的问题。所以，记好日志真的很重要。

知行办公，专业移动办公平台 https://zx.naton.cn/
【总监】十二春秋之，3483099@qq.com；
【Master】zelo，616701261@qq.com；
【运营】运维艄公，897221533@qq.com；
【产品设计】流浪猫，364994559@qq.com；
【体验设计】兜兜，2435632247@qq.com；
【iOS】淘码小工，492395860@qq.com；iMcG33K，imcg33k@gmail.com；
【Android】人猿居士，1059604515@qq.com；思路的顿悟，1217022114@qq.com；
【java】首席工程师MR_W，feixue300@qq.com；
【测试】土镜问道，847071279@qq.com；
【数据】fox009521，42151960@qq.com；
【安全】保密，你懂的。