Debezium架构

本文介绍了Debezium的部署方式,包括通过Kafka Connect部署,使用Debezium Server直接流式传输更改事件到多种消息基础设施,以及作为嵌入式引擎集成到Java应用中。重点讲解了Kafka Connect如何将数据库更改记录传输到Kafka,并通过sink connector进一步分发到其他系统。
摘要由CSDN通过智能技术生成

通过Kafka Connect部署Debezium

最常见的是,您通过 Apache Kafka Connect部署 Debezium 。Kafka Connect 是一个用于实现和操作的框架和运行时:

  • source connector(例如 Debezium)将record发送到 Kafka

  • sink connector将record从 Kafka Topic 传播到其他系统

下图显示了基于 Debezium 的CDC管道的架构:

如图所示,部署了用于 MySQL 和 PostgresSQL 的 Debezium 连接器来捕获对这两种类型的数据库的更改。每个 Debezium 连接器都建立到其源数据库的连接:

  • MySQL 连接器使用client library来访问binlog.

  • PostgreSQL 连接器从logical replication stream中读取。

Kafka Connect 作为 Kafka Broker之外的单独服务运行。

默认情况下,来自一个数据库表的更改将写入名称与表名对应的 Kafka Topic。如果需要,您可以通过配置 Debezium 的

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值