Debezium 特性

Debezium 是一组用于 Apache Kafka Connect 的源连接器（source connectors）。每种connector通过使用该数据库的CDC功能提取(ingest)变化。与其他方法（如polling 或者dual writes）不同，Debezium 实现了基于日志的CDC功能。

• 确保所有的数据变化被捕捉

• 以非常低的延迟生成更改事件，同时避免频繁轮询所需的 CPU 使用率增加。例如，对于 MySQL 或 PostgreSQL，延迟在毫秒范围内

• 不需要更改您的数据模型，例如“Last Updated”列

• 可以捕获delete语句

• 可以捕获旧的记录状态(record state)以及额外的Metadata(比如Transaction ID和causing query)，取决于数据库功能和配置

Debezium connectors使用一系列相关功能和选项捕获数据更改

• 快照snapshot：可选地，如果连接器已启动并且并非所有日志仍然存在，则可以拍摄数据库当前状态的初始快照。通常，当数据库已经运行了一段时间并且丢弃了事务恢复或复制不再需要的事务日志时，就会出现这种情况。执行快照有不同的模式，包括支持增量快照，可以在连接器运行时触发。有关更多详细信息，请参阅您正在使用的连接器的文档。

• 过滤器：您可以使用包含/排除列表过滤器配置捕获的模式、表和列的集合。

• 屏蔽mask：可以屏蔽来自特定列的值，例如&