Debezium

Debezium作为一个开源的分布式数据变更捕获平台，主要通过读取数据库的binlog来实现实时数据变更的捕获和传输。binlog是MySQL数据库的事务日志，记录了数据库中的所有更改操作。

如果第三方系统不提供binlog，那么使用Debezium可能就不适用。因为它的设计初衷就是基于数据库的binlog来进行数据变更的捕获和同步。

Debezium的核心是实时数据变更捕获和传输。

具体来说，Debezium：

通过在数据库中连接到binlog（MySQL）、WAL（PostgreSQL）或其他事务日志（如MongoDB Oplog），实时捕获数据库中的数据变更操作，包括插入、更新和删除等操作。

基于捕获的数据变更，生成一系列的事件，这些事件描述了数据的变更细节，如变更前的数据、变更后的数据、操作类型等。

将捕获到的数据变更事件以连续流的方式传输到消息队列（如Apache Kafka）中，以供其他系统进行处理和消费。

支持数据变更的“源端”和“目标端”之间的数据同步，允许实时地将源数据库中的数据变更同步到目标数据库中，确保数据的一致性和实时性。

Debezium提供了一套可扩展的、虚拟化的、与数据库无关的架构，可适用于多种数据库引擎和数据存储系统。它还提供了一组连接器（Connectors），用于与不同的数据库引擎进行集成，并支持配置管理、数据更改事件的转换和过滤等功能。同时，Debezium还提供了监控和管理工具，用于跟踪和管理数据变更流和连接器的状态。

总的来说，Debezium的核心是基于数据库的binlog或其他事务日志，实时捕获数据变更，并将数据变更以事件的形式传输到消息队列中，以实现实时的数据变更监控和同步。

以下是使用YAML格式列举出与MySQL和Kafka相关的Debezium配置参数，并添加了相应的配置注解：

# Debezium MySQL Connector配置参数
connector.class: io.debezium.connector.mysql.MySqlConnector
# MySQL数据库主机名
database.hostname: localhost
# MySQL数据库端口号
database.port: 3306
# MySQL数据库用户名
database.user: myuser
# MySQL数据库密码
database.password: mypassword
# MySQL服务器ID
database.server.id: 1
# MySQL服务器名称，用于标识数据库实例
database.server.name: my-database
# 要包含的数据库列表，多个数据库间用逗号分隔
database.include.list: mydatabase
# 用于保存历史数据库架构的Kafka服务器配置
database.history.kafka.bootstrap.servers: localhost:9092
# 保存历史数据库架构的Kafka主题名称
database.history.kafka.topic: debezium_schema_history

# Debezium Kafka Connect的配置参数
# Kafka服务器配置，用于连接Kafka集群
bootstrap.servers: localhost:9092
# 键的转换器类型
key.converter: org.apache.kafka.connect.storage.StringConverter
# 值的转换器类型
value.converter: org.apache.kafka.connect.json.JsonConverter
# 是否启用键的Schema
key.converter.schemas.enable: false
# 是否启用值的Schema
value.converter.schemas.enable: false
# 偏移量存储的Kafka主题
offset.storage.topic: __debezium_offsets
# 偏移量存储的分区数量
offset.storage.partitions: 10
# 偏移量存储的副本因子
offset.storage.replication.factor: 3

# 监听的MySQL binlog的位置和偏移量
# 初始化模式，使用快照模式进行初始化
database.initialization.mode: snapshot
# 是否跳过无法解析的DDL语句
database.history.skip.unparseable.ddl: true
# 设置MySQL服务器时区
database.serverTimezone: UTC
# 快照模式，使用初始模式进行快照读取
database.history.snapshot.mode: initial