通过Kafka Connect部署Debezium
最常见的是,您通过 Apache Kafka Connect部署 Debezium 。Kafka Connect 是一个用于实现和操作的框架和运行时:
-
source connector(例如 Debezium)将record发送到 Kafka
-
sink connector将record从 Kafka Topic 传播到其他系统
下图显示了基于 Debezium 的CDC管道的架构:
如图所示,部署了用于 MySQL 和 PostgresSQL 的 Debezium 连接器来捕获对这两种类型的数据库的更改。每个 Debezium 连接器都建立到其源数据库的连接:
-
MySQL 连接器使用client library来访问
binlog
. -
PostgreSQL 连接器从logical replication stream中读取。
Kafka Connect 作为 Kafka Broker之外的单独服务运行。
默认情况下,来自一个数据库表的更改将写入名称与表名对应的 Kafka Topic。如果需要,您可以通过配置 Debezium 的