Debezium是什么

Debezium是什么

---

Debezium是一个用来捕获数据库数据变更的分布式服务，你的应用可以看到这些数据变更，以及处理他们。Debezium以更改事件流的形式记录每张表的行级变更。
然后应用可以以事件流产生的顺序读取事件流变更记录。
目前支持的Source Connectors是Mysql，MongoDB，PostgresSQL、Oracle、SQL Server、Db2、Cassamdra、Vitesss。
目前Cassandra、Vitess处于孵化阶段。
说明：孵化连接器发版用于预览目的，对于孵化连接器做出修改不能保证向后兼容。

Debezium特性：

---

Debezium是为Kafka Connect而建的一系列Source Connectors，每个Source Connector会根据对应数据库特性来捕获数据变更记录。
不像其他方法，例如，轮询或者双写等。Debezium是基于日志进行捕获变更的。

1. 确保所有的数据变更捕获
2. 用极低的延迟生成数据变更时间，同时避免频繁轮询所产生的CPU压力，例如，Mysql和PostgresSQL只会产生毫秒级别的延迟。
3. 不需要对数据模型做修改，例如，添加“最后修改时间”字段
4. 可以捕获删除数据
5. 可以捕获老的记录信息以及额外的元数据信息，例如，事务ID等，元数据信息的获取主要依赖数据库的特性以及配置。

Debezium捕获数据变更拥有如下的能力：

1. Snapshots：当连接器开启时，可以获取当前数据库的快照。例如，当数据库已经运行一段时间，已经丢弃了部分事务日志。
2. Filters：你可以通过include/exclude过滤器配置要捕获的schemas、tables、columns的集合
3. Masking： 可以指定列的值进行蒙面，例如，当包含敏感数据。
4. Monitoring： 可以通过JMX来监控大部分连接器
5. message transformations：消息路由、过滤、数据扁平化等转换

Debezium架构：

---

可以通过三种方式使用Debezium

部署Debezium连接器到Kafka Connect，这是普通使用的方法，架构图如下：

如上图所示，
Mysql和PostgresSQL连接器部署后，这两个连接器可以捕获这两种类型数据库的数据变更，每个连接器会建立一个连接数据库的连接。
Mysql连接器使用一个客户端包访问binlog
PostgreSQL连接器从一个逻辑复制流中读取

通常来说，数据库中每张表的数据变更会存储到对应这个表名的TOPIC中，但是可以通过配置TOPIC路由转换改变默认的行为，例如，

1. 路由数据变更到一个TOPIC，这个TOPIC不对应于数据库中的表名
2. 将多个表中的数据变更存储到一个TOPIC中

当数据存储到TOPIC中，可以使用Kakfa Connect中的其他Sink Connector将TOPIC中的数据存储到其他系统中，例如，Elasticsearch等，
依赖于选择的SInk Connector，可以配置新纪录状态提取，这个Kafka Connect SMT会传递Debezium变更事件中的after结构到SInk Connector中，这样就会代替默认传递的冗余变更事件。

使用Debezium Server部署Debezium

Debezium Server是一个可配置的应用，这个应用可以传递数据库中的变更事件到各种消息基础设施中（例如，redis，pulsar，kinesis，google pub/sub）。
Debezium Server可以配置使用Debezium source Connectors之一，来捕获对应数据库中的记录变更，然后变更记录可以序列化到不同的格式（例如，JSON、Apache Avro等），然后发送到
各种不同的消息基础设置之一中（例如，Redis、Google Pub/Sub、Apache Pulsar）

使用内嵌的Debezium引擎

另外一种使用Debezium Connectors的方式是内嵌引擎，这种方式并不会通过Kafka Connect运行，而是作为一个包内嵌到你的应用中，而不需要部署完整的Kafka和Kafka Connect服务。

其他

说明：

• Kafka Connect是一个运行框架，伴随着Kafka Broker运行的一个单独服务，主要有以下两个作用：
  • 1.1 将Source Connector（例如，Debezium中的Source Connector）的数据传递到Kafka Topic中。
  • 1.2 将Kafka Topic中的数据传递到Sink Connector

参考链接：

• https://debezium.io/documentation/reference/1.8/architecture.html
• https://debezium.io/documentation/reference/1.8/features.html
• https://debezium.io/documentation/reference/1.8/connectors/index.html