记录kafkachannel遇到的坑

最新推荐文章于 2024-07-25 13:58:15 发布

Lu_Xiao_Yue

最新推荐文章于 2024-07-25 13:58:15 发布

阅读量2.7k

点赞数

文章标签： flume kafka kafkachannel

本文链接：https://blog.csdn.net/Lu_Xiao_Yue/article/details/85223206

版权

在尝试使用Flume 1.5与Kafka 0.11.0.2集成时遇到了Broker List未指定的配置异常。错误源于版本差异，Flume新版本与旧版配置方式不同。通过查看官方文档，发现Flume 1.5中定义Kafka Channel的topic应使用`topic`属性而非`kafka.topic`。正确配置包括设置`bootstrap.servers`及`topic`，解决了启动问题。

摘要由CSDN通过智能技术生成

在使用kafkachannel时，启动flume报错
org.apache.flume.conf.ConfigurationException: Broker List must be specified
原因是我使用的flume的版本是1.5.0的，kafka是kafka_2.11-0.11.0.2，
kafka使用的是新版，而flume使用的比较老，在定义broker时，flume新老版本不一致

这个是我原来写的配置，这个是flume1.7以后才是这样写，所以会报上面的错

a0.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a0.channels.c1.kafka.bootstrap.servers = bigdata01:9092,bigdata02:9092,bigdata03:9092
a0.channels.c1.kafka.topic = userif
#a0.channels.c1.parseAsFlumeEvent = false
a0.sources.r1.channels = c1```

解决就是把--bootstrap-servers 换成brokerList，或者换一个高一点的flume版本，为了确保万无一失，把zookeeper.jar 拷贝到flume的lib下

a0.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a0.channels.c1.brokerList = bigdata01:9092,bigdata02:9092,bigdata03:9092
a0.channels.c1.zookeepe