恰巧,本人最近在做一个这个方面的专题研究,我来说说自己对这你这个问题的看法。
首先,你是从kafka 的topic 把数据流向 mysql,要用的Kafka Connector应该是Sink类型的。目前,Confluent 3.3已经有Kafka的JDBC Connector,可以完成这个事情。
第二,如果你从Conflent的官网下载了Confluent (本回答发生时,为3.3 版本,分为社区版和企业版,下载哪个版本,要看你自己情况),里面自带了 jdbc的Connector,这个Connector包含了两个部分,一个是Source类型的(就是通过jdbc把数据导入到Kafka的),另外一个是Sink类型的(就是把Kafka的topic数据直接导入到jdbc连接的数据库的)。
第三,从你的问题知道,你应该已经接触了Kafka Connector了,关于怎么安装、启动服务、启动Connector我就不赘述了,你应该已经知道了。我要说的一点,就是,你通过设置 一个 xxx.properties文件,这个文件的内容大致如下:
name=test-sink
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
tasks.max=1
topics=orders
connection.url=jdbc:mysql://mysqlhost:port/dbname?name=xxx&password=xxxx
auto.create=true
具体字段意义很明了,然