Kettle实战

我们今天的应用程序很多都依赖于数据库，用于持久保存数据。如：商品数据，订单数据等等。在许多场景中我们都需要把数据库实时产生的数据捕捉出来，传送到其它地方。比如：读写分离（将数据发送到搜索引擎中，象ES来做后期的查询），异地灾备（相当于把本地数据库在其它地方再备份一个，当出现意外情况时可以使用备库），数据迁移（数据库需要转移到另一个相同或不同的数据库中）等等。在面对这些需求的时候，通常做为系统架构者都非常头疼，如何才能及时、稳定、高效的捕捉到这些变化的数据呢？比较简单的方案就是通过表的时间戳，定时去抽取变化

1 开始1.1 Debezium简介Debezium 是一个开源项目，为捕获变更数据(CDC) 提供低延迟的数据流平台。您设置并配置 Debezium 以监控您的数据库，然后您的应用程序就可以使用这些对数据库进行的每个行级更改的事件。只有已提交的更改是可见的，因此您的应用程序不必担心回滚的事务或更改。Debezium 提供所有更改事件的单一模型，因此您的应用程序不必担心每种数据库管理系统的复杂性。此外，由于 Debezium 在持久、复制的日志中记录数据更改的历史记录，因此您的应用程序可以随时停止和重新

本教程演示了如何使用 Debezium 监控 MySQL 数据库。随着数据库中的数据发生变化，您将看到生成的事件流。在本教程中，您将启动 Debezium 服务，使用一个简单的示例数据库运行 MySQL 数据库服务器，并使用 Debezium 监视数据库的更改。前提条件Docker 已安装并正在运行。本教程使用 Docker 和 Debezium 容器镜像来运行所需的服务。您应该使用最新版本的 Docker。有关更多信息，请参阅Docker 引擎安装文档。注意本教程演示了

3 配置2.1 Avro序列化Debezium 连接器在 Kafka Connect 框架中工作，通过生成更改事件记录来捕获数据库中的每个行级更改。对于每个更改事件记录，Debezium 连接器完成以下操作：应用配置的转换。使用配置的Kafka Connect 转换器将记录键和值序列化为二进制形式。将记录写入正确的 Kafka 主题。您可以为每个单独的 Debezium 连接器实例指定转换器。Kafka Connect 提供了一个 JSON 转换器，可将记录键和值序列化为 JSON 文档。默

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

4.5 SQL ServerDebezium SQL Server 连接器捕获 SQL Server 数据库schemas中发生的行级更改。有关与此连接器兼容的 SQL Server 版本的信息，请参阅Debezium 版本概述。Debezium SQL Server 连接器第一次连接到 SQL Server 数据库或集群时，它会获取数据库中schemas的一致快照。初始快照完成后，连接器会持续捕获行级更改，为提交到启用 CDC 的 SQL Server 数据库的INSERT、UPDATE或DELET

4.6 Oracle适用于 Oracle 的 Debezium 连接器概述Debezium 的 Oracle 连接器捕获并记录发生在 Oracle 服务器上的数据库中的行级更改，包括在连接器运行时添加的表。您可以将连接器配置为针对特定的schemas和表的子集发出更改事件，或者忽略、屏蔽或截断特定列中的值。有关与此连接器兼容的 Oracle 数据库版本的信息，请参阅Debezium 版本概述。Debezium 通过使用本机 LogMiner 数据库包或XStream API从 Oracle 获取更

Debezium 的 MongoDB 连接器跟踪 MongoDB 副本集或 MongoDB 分片集群以查找数据库和集合中的文档变化，并将这些变化记录为 Kafka 主题中的事件。连接器会自动处理分片集群中片的添加或删除、每个副本集成员的变化、每个副本集合中的成员选举，以及等待通信问题解决。有关与此连接器兼容的 MongoDB 版本的信息，请参阅Debezium 版本概述。概述MongoDB 的复制机制提供了冗余和高可用性，是在生产环境中运行 MongoDB 的最佳方式。MongoDB 连接器可以捕获副

Debezium PostgreSQL 连接器捕获 PostgreSQL 数据库模式中的行级更改。有关与连接器兼容的 PostgreSQL 版本的信息，请参阅Debezium 版本概述。第一次连接到 PostgreSQL 服务器或集群时，连接器会拍摄所有模式的一致快照。在该快照完成后，连接器会持续捕获插入、更新和删除数据库内容以及提交到 PostgreSQL 数据库的行级更改。连接器生成数据更改事件记录并将它们流式传输到 Kafka 主题。对于每个表，默认行为是连接器将所有生成的事件流式传输到该表的单独

5 转换5.1 概览可以使用转换配置连接器，以使每个消息修改轻量级。Debezium 提供了几个单消息转换(SMT)，您可以使用它们在将记录发送到 Apache Kafka（通过将它们应用到 Debezium 连接器）之前修改记录，或者在接收器连接器从 Kafka 读取它们时修改它们。Debezium Server也支持使用 SMT。Debezium 提供以下 SMT：转换描述主题路由根据应用于原始主题名称的正则表达式将记录重新路由到不同的主题。基于内容的路由根据活动内

6 API与SPI6.1 Debezium引擎Debezium 连接器通常通过将它们部署到 Kafka Connect 服务并配置一个或多个连接器来监控上游数据库并为它们在上游数据库中看到的所有更改生成数据更改事件来操作。这些数据更改事件被写入 Kafka，在那里它们可以被许多不同的应用程序独立使用。Kafka Connect 提供出色的容错性和可扩展性，因为它作为分布式服务运行，并确保所有已注册和配置的连接器始终运行。例如，即使集群中的一个 Kafka Connect 端点出现故障，其余的 Kafka

7 其它7.1 Debezium UI注意此功能目前处于孵化状态，即确切的语义和行为等可能会根据我们收到的反馈在未来的修订中发生变化。如果您在使用 Debezium UI 时遇到任何问题，请告诉我们您的功能请求。Debezium UI 允许用户更轻松地设置和操作连接器。例如，可以查看所有连接器的列表以及它们的状态等。创建连接器向导允许用户配置连接器，并在此过程中指导和验证属性条目。设计注意事项UI 实现为基于Quarkus的 Web 应用程序。后端配置有一个或多个 Kafka