1.1 Debezium 介绍
Debezium 是一个分布式的平台 ,注册source connector 用于源集群和kafka进行连接, 捕获原集群数据库中的更改记录,并将更改记录进行解析成相应的格式,以消息的形式保存到kafka中,
也可以注册sink connector 用于kafka 与 目的集群进行连接,消费kafka中的数据记录,并解析成数据库中能插入的sql语句。
下图为Debezium的整个架构,Debezium以插件的形式,部署在 Kafka Connect 上,Kafka Connect 有两个核心的概念:Source 和 Sink,Source 负责导入数据到 Kafka,Sink 负责从 Kafka 导出数据,它们都被称为是 Connector。
1.2 Source Connector for MongoDB 介绍
1.MongoDB Source Connector(源集群连接器),当第一次连接到源端集群时,它会先查看并记录当前oplog,然后执行对数据库执行一次快照,当所有数据都被复制后,连接器从它之前oplog记录的位置开始以数据流的方式记录数据库相应的更改,保存到kafka中,
2.MongoDB Source Connector会记录插入,更新,删除操作,同时也会保持oplog中相同操作是幂等的,不会重复记录。
3.当MongoDB Source