kafka-connect遇到的问题

本文档详细记录了在Confluent Platform v3.2.1中使用kafka-connect遇到的问题,包括从kafka到mysql的连接配置,如何自定义表名,以及在尝试从HDFS导入到kafka时发现的源组件缺失问题,并提供了相应的解决方案和注意事项。
摘要由CSDN通过智能技术生成
写在前面

写博客时使用的版本 Confluent Platform v3.2.1。使用的话,大家看官方文档kafka-connect,下面有几个使用过程中遇到的问题:

我的kafka里的数据是avro格式的,应需求要从kafka导入mysql数据库和从HDFS导入到kafka。

standalone模式启动命令:
//后面可以接多个配置文件,执行多个任务


./connect-standalone ../etc/schema-registry/connect-avro-standalone.properties ../etc/kafka-connect-jdbc/sink-quickstart-sqlite1.properties ../etc/kafka-connect-jdbc/quickstart-sqlite2.properties

1. 配置kafka-connect时,你可能想知道它支持kafka什么之间的连接,下面就是文件中connector.class选项

配置connector.class

kafka.connect available connectors are: 

org.apache.kafka.connect.tools.MockSinkConnector, 
org.apache.kafka.connect.source.SourceConnector, 
io
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值