使用kafka connect将实时将MySQL数据导入kafka

使用kafka connect将实时将MySQL数据导入kafka

1、kafka1.0版本以上(bin目录包含connect，conf目录包含connect)


2、下载kafka-connect-jdbc插件https://www.confluent.io/hub/confluentinc/kafka-connect-jdbc
解压得到以下目录结构:

3.将插件中lib里面的jar文件提取出来，放到kafka的libs目录

4、复制Java的MySQL驱动包到kafka的libs目录
5、将kafka-connect-jdbc中etc目录下的source文件复制到kafka的config目录下，并修改为connect-mysql-source.properties

根据自己实际情况修改:
name=test-source-sqlite-jdbc-autoincrement
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=10
connection.url=jdbc:mysql://192.168.1.185:3306/us_app?user=root&password=zhbr@2020
table.whitelist=t_zh_pwbzqx_sbfcms,t_yj_dwyj_qxjl,pdwqy_pms_yx_sbxx

#bulk为批量导入，此外还有incrementing和timestamp模式
mode=bulk
#timestamp.column.name=time
#incrementing.column.name=id

topic.prefix=mysql-

6、修改kafka目录下config/connect-standalone.properties

bootstrap.servers=cdh01:9092
#相同id的connect worker属于一个Connect集群
group.id=connect-cluster
#定义数据在Kafka中存储形式
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter

7.启动zk和kafka
8. 启动kafka connect

bin/connect-standalone.sh config/connect-standalone.properties config/connect-mysql-source.properties

注意:connect-standalone.sh为单节点模式，此外还有connect-distributed集群模式，使用集群模式则需修改connect-distributed.properties
9. 消费kafka，查看是否导入成功

./kafka-console-consumer.sh --bootstrap-server cdh01:9092 --topic mysql-pdwqy_pms_yx_sbxx    --from-beginning 

此时可以将mysql中几个表的数据实时更新到kafka上面。