基于Debezium 实时同步Mongodb 数据

1.1 Debezium 介绍

Debezium 是一个分布式的平台 ，注册source connector 用于源集群和kafka进行连接， 捕获原集群数据库中的更改记录，并将更改记录进行解析成相应的格式，以消息的形式保存到kafka中，

也可以注册sink connector 用于kafka 与 目的集群进行连接，消费kafka中的数据记录，并解析成数据库中能插入的sql语句。

下图为Debezium的整个架构，Debezium以插件的形式，部署在 Kafka Connect 上，Kafka Connect 有两个核心的概念：Source 和 Sink，Source 负责导入数据到 Kafka，Sink 负责从 Kafka 导出数据，它们都被称为是 Connector。

1.2 Source Connector for MongoDB 介绍

1.MongoDB Source  Connector(源集群连接器)，当第一次连接到源端集群时，它会先查看并记录当前oplog，然后执行对数据库执行一次快照，当所有数据都被复制后，连接器从它之前oplog记录的位置开始以数据流的方式记录数据库相应的更改，保存到kafka中，

2.MongoDB Source  Connector会记录插入，更新，删除操作，同时也会保持oplog中相同操作是幂等的，不会重复记录。

3.当MongoDB Source