Debezium 架构详解与实战示例

DataLu

于 2025-05-04 10:03:48 发布

阅读量751

点赞数 25

分类专栏： Debezium Debezium设计 MySql-debezium 文章标签：架构数据库 debezium 数据变更数据迁移

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/sinat_33727881/article/details/147691809

版权

Debezium 架构详解与实战示例

1. 整体架构图

最低0.47元/天解锁文章

博客等级

码龄9年

101
原创

1871
点赞

1604
收藏

1009
粉丝

关注

私信

热门文章

分类专栏

最新评论

Debezium MySqlValueConverters详解
DataLu: 对于mysql数据库类型的列的不同类型的定义，都有一个相对应的值转换器。可以顺利的将mysql列的值进行转换
Debezium-MySqlConnectorTask
DataLu: GTID 在 Debezium 中的应用 Debezium 使用 GTID 实现精确断点续传，保障 CDC（变更数据捕获）的可靠性：记录同步进度将 GTID 集合（如 3E11FA47-71CA-11E1-9E33-C80AA9429562:1-5）写入偏移量存储（如 Kafka 的 __debezium-offsets 主题）。恢复同步位置重启时加载 GTID 集合，从 MySQL 的当前 GTID 集合中定位断点。若 GTID 有效：继续流式同步。若 GTID 已丢失：触发全量快照（Snapshot）。
Debezium-MySqlConnectorTask
DataLu: GTID（全局事务标识符）详解 GTID（Global Transaction Identifier）是 MySQL 引入的一种机制，用于唯一标识数据库服务器上提交的每个事务。它的核心作用是简化主从复制流程和确保数据一致性，尤其在复杂的分布式系统中表现突出。一、GTID 的组成 GTID 的格式为： <source_id>:<transaction_id> source_id：数据库服务器的唯一标识（通常为 server_uuid）。 transaction_id：事务的递增序号（从 1 开始）。示例： 3E11FA47-71CA-11E1-9E33-C80AA9429562:1-5 表示服务器 3E11FA47-71CA-11E1-9E33-C80AA9429562 上提交的第 1 到第 5 个事务。二、GTID 的核心作用 1. 简化主从复制传统复制问题：基于 binlog文件名+位置的复制需要手动维护主从同步点，易出错。 GTID 解决方案：从库通过 GTID 自动定位未同步的事务，无需手动指定 binlog 位置。操作示例： CHANGE MASTER TO MASTER_HOST='master_host', MASTER_AUTO_POSITION=1; -- 开启 GTID 自动定位 2. 避免数据不一致传统复制问题：事务可能在不同从库上重复执行（如主库切换导致 binlog 混乱）。 GTID 解决方案：每个事务有唯一标识，从库记录已执行的 GTID 集合，天然避免重复执行。 3. 支持复杂拓扑链式复制、多源复制： GTID 天然支持事务在多个节点间流转，无需维护复杂的 binlog 映射关系。
Debezium-MySqlConnectorTask
DataLu: 假设连接器首次启动后同步到以下位置后停止： { "binlog_filename": "mysql-bin.000003", "binlog_position": 107, "gtid_set": "3E11FA47-71CA-11E1-9E33-C80AA9429562:1-5" } 重启时 getPreviousOffsets 的工作流程： 1 加载分区：确定当前处理的是 mysql-server-1 实例。 2 加载偏移量：从存储中读取上述 JSON 并转换为 MySqlOffsetContext 对象。 3 校验可用性：检查 MySQL 当前是否有 mysql-bin.000003 文件。验证 GTID 集合是否未被清除（SHOW GLOBAL VARIABLES LIKE 'gtid_purged'）。 4 决策恢复方式：如果 binlog 文件存在且 GTID 有效 → 从断点继续流式同步。如果 binlog 已被清除 → 触发快照（Snapshot）重新全量同步。
Debezium-MySqlConnectorTask
DataLu: getPreviousOffsets 方法的作用是加载并验证连接器上一次运行的偏移量状态，确保在重启后能够精准恢复同步位置。以下是具体说明：一、核心作用恢复断点从持久化存储（如 Kafka 的 __debezium-offsets 主题）读取上次同步的 binlog 位置或 GTID 集合，避免重复处理或遗漏数据。初始化上下文创建 MySqlPartition（逻辑分区标识）和 MySqlOffsetContext（偏移量详细信息），为后续同步提供基础信息。 getPreviousOffsets( new MySqlPartition.Provider(connectorConfig), // (1) 分区提供者 new MySqlOffsetContext.Loader(connectorConfig) // (2) 偏移量加载器 ) 1. MySqlPartition.Provider 职责：生成逻辑分区标识（通常一个连接器对应一个分区）。示例输出： MySqlPartition{ serverName="mysql-server-1" // 配置的 server.id } 2. MySqlOffsetContext.Loader 职责：从存储中加载偏移量并转换为 Java 对象。示例输出： MySqlOffsetContext{ source={ "binlog_filename": "mysql-bin.000003", "binlog_position": 107, "gtid_set": "3E11FA47-71CA-11E1-9E33-C80AA9429562:1-5" } }

大家在看

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

DataLu 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。