写在前面
写博客时使用的版本 Confluent Platform v3.2.1。使用的话,大家看官方文档kafka-connect,下面有几个使用过程中遇到的问题:
我的kafka里的数据是avro格式的,应需求要从kafka导入mysql数据库和从HDFS导入到kafka。
standalone模式启动命令:
//后面可以接多个配置文件,执行多个任务
./connect-standalone ../etc/schema-registry/connect-avro-standalone.properties ../etc/kafka-connect-jdbc/sink-quickstart-sqlite1.properties ../etc/kafka-connect-jdbc/quickstart-sqlite2.properties
1. 配置kafka-connect时,你可能想知道它支持kafka什么之间的连接,下面就是文件中connector.class
选项
配置connector.class
kafka.connect available connectors are:
org.apache.kafka.connect.tools.MockSinkConnector,
org.apache.kafka.connect.source.SourceConnector,
io