kafka-connect mysql debeziem时区问题，时间格式化，时间转换

最新推荐文章于 2024-08-13 12:18:03 发布

好人好事代表-

最新推荐文章于 2024-08-13 12:18:03 发布

阅读量3.6k

点赞数

分类专栏：项目开发问题解决文章标签： java kafka 大数据

本文链接：https://blog.csdn.net/weixin_40747900/article/details/123281851

版权

本文介绍了在使用Kafka Connect MySQL Debezium进行数据抽取时遇到的时间字段转换问题。默认情况下，Debezium会将时间字段转换为时间戳。为满足特定需求，可以使用TimestampConverter进行时间格式化。对于日期类型，需要额外设置参数。配置文件的完整内容详述了这一解决方案。

摘要由CSDN通过智能技术生成

使用功能debeziem的kafka-connect-mysql进行抽取数据时，对于时间字段 date,dateTIme，默认是将字段的值转成时间戳。这样某些情况可能不符合需求。

可以使用TimestampConverter进行时间格式转换。

  "transforms.tsFormat1.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
  "transforms.tsFormat1.target.type": "string",
  "transforms.tsFormat1.field": "transaction_time",
  "transforms.tsFormat1.format": "yyyy-MM-dd HH:mm:ss",

对于date类型还需要添加下面的参数。

"time.precision.mode": "connect",

完整的配置文件如下

{
   
  "connector.class": "io.debezium.connector.mysql.MySqlConnector",
  "tasks.max": "1",
  "database.hostname": "127.0.0.1",
  "database.port": "3306",
  "database.user"