Kafka Connect transform初体验

最新推荐文章于 2024-07-29 01:05:05 发布

ylejun

最新推荐文章于 2024-07-29 01:05:05 发布

阅读量2.6k

点赞数 3

分类专栏： Kafka Connect 大数据文章标签： kafka

本文链接：https://blog.csdn.net/ylejun/article/details/107298138

版权

本文介绍了Kafka Connect transforms的配置和使用，包括官方提供的多种transform如Cast、ExtractField等，并展示了如何在source任务中配置transform。还提及在现有transform无法满足需求时，如何开发自定义transform，涉及Transformation接口的关键方法如configure、apply和close。

摘要由CSDN通过智能技术生成

可以配置Kafka Connector transforms以进行一个轻量级的消息修改。transforms可以方面的修改数据以及事件路由。

接下来我们将介绍如何配置一个transform。

首先，我们要在任务中配置transform，无论source 还是sink都可以配置transform

{
   "name": "test-source",
   "config": {
       "connector.class": "io.debezium.connector.mysql.MySqlConnector",
       "database.hostname": "localhost",
       "database.port": "3306",
       "database.user": "root",
       "database.password": "root",
       "tombstones.on.delete": "false",
       "database.server.id": "1",
       "database.server.name": "test-server",
       "database.history.kafka.topic": "test-server-history",
       "database.history.kafka.bootstrap.servers": "localhost:9092",
       "include.schema.changes": "true",
       "database.serverTimezone": "Asia/Shanghai",
       "database.driver": "com.mysql.jdbc.Driver",
       "database.history.kafka.recovery.poll.interval.ms": "3000",
       "defaultFetchSize": "1000",
       "database.tinyInt1isBit": "false",
       "snapshot.locking.mode": "none",
       "decimal.handling.mode": "string",
       "transforms": "MakeMap,InsertSource",
       "transforms.MakeMap.type":"org.apache.kafka.connect.transforms.HoistField$Value",
       "transforms.MakeMap.field":"line",
       "transforms.InsertSource.type":"org.apache.kafka.connect.transforms.InsertField$Value",
       "transforms.InsertSource.static.field":"data_source",
       "transforms.InsertSource.static.value":"test-file-source"
   }
}