Tapdata 数据库实时同步的技术要点

　　Tapdata 专注于实时数据的处理技术，在数据库迁移和同步方面，Tapdata 的表现非常优秀，实时、多元、异构，尤其在关系数据库到非关系数据库之间的双向同步方面，无论是从操作上，还是效率上，都体现了业界领先的水平。

　　本文重点阐述 Tapdata 在数据库实时同步方面的技术要点。

　　基于数据库日志的实时迁移或同步

　　在数据库同步场景下，Tapdata 支持批量及增量的数据迁移及同步。Tapdata 主打的是实时场景，所以在数据库增量同步上是一个关键能力。目前 Tapdata 支持的数据源，基本上都支持增量同步。大部分场景下 Tapdata 通过解析数据库日志的方式来获得源端数据库的增删改操作，然后将这些操作转化为标准的数据库事件，推送到内部处理队列。优品拍怕

 

　　数据同步流程 那么，Tapdata 是怎么样来做数据同步的呢?

　　第一层的数据同步是基于CDC机制，也就是说它并不是用一个 Select 语句去定期的去扫最近有什么样的数据，或者是全量把它拿过来，而是基于数据库的事务日志，比如说 Oracle 的话就是 Redo log，SQL Server 的话就是它的 CDC 机制，MongoDB 有它的那个 Oplog，然后MySQL 的话就用它的 Binlog。为了监听这些 log 日志，Tapdata 每一个数据都有一个 log parser，把它拿出来以后，当监听到变化，就会把它转化成一个 update 语句或者 insret 的语句或者 delete 语句。在目标库里面，Tapdata 还创建了 FDM ，即基础层和主数据层。把它写到目标库里面，然后通过这种方式，等于是在目标平台里面建了一个逻辑的镜像，跟源库是是能保持高度的同步的那这种方式，这种 CDC 事件的延迟一般是在几百毫秒，往往在1~2秒之内，我们就可以把数据同步到这个目标的平台，所以同步的时延是非常短的，大概率是亚秒级别。