kafka mysql_kafka connector 向mysql写数据时 如何指定key和value的schema?

恰巧,本人最近在做一个这个方面的专题研究,我来说说自己对这你这个问题的看法。

首先,你是从kafka 的topic 把数据流向 mysql,要用的Kafka Connector应该是Sink类型的。目前,Confluent 3.3已经有Kafka的JDBC Connector,可以完成这个事情。

第二,如果你从Conflent的官网下载了Confluent (本回答发生时,为3.3 版本,分为社区版和企业版,下载哪个版本,要看你自己情况),里面自带了 jdbc的Connector,这个Connector包含了两个部分,一个是Source类型的(就是通过jdbc把数据导入到Kafka的),另外一个是Sink类型的(就是把Kafka的topic数据直接导入到jdbc连接的数据库的)。

第三,从你的问题知道,你应该已经接触了Kafka Connector了,关于怎么安装、启动服务、启动Connector我就不赘述了,你应该已经知道了。我要说的一点,就是,你通过设置 一个 xxx.properties文件,这个文件的内容大致如下:

name=test-sink

connector.class=io.confluent.connect.jdbc.JdbcSinkConnector

tasks.max=1

topics=orders

connection.url=jdbc:mysql://mysqlhost:port/dbname?name=xxx&password=xxxx

auto.create=true

具体字段意义很明了,然

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值