对于kafkachannel的使用

最新推荐文章于 2023-02-03 09:39:10 发布

Lu_Xiao_Yue

最新推荐文章于 2023-02-03 09:39:10 发布

阅读量5.5k

点赞数 4

文章标签： kafka flume

本文链接：https://blog.csdn.net/lu_xiao_yue/article/details/85224219

版权

本文介绍了如何在Flume中使用KafkaChannel，通过配置文件展示了无需Source或Sink的情况，将数据直接从Kafka通道读取或写入。在实际操作中遇到了'ConsumerTimeoutException'的问题，但解决方案尚未给出。

摘要由CSDN通过智能技术生成

flume的一个agent包括source、channel、sink，但是有时候其实可以不需要source或者是sink，比如在使用flume时，把flume监控的日志发送到kafka中，可以不用使用sink，把channel定义为kafkachannel，kafkachannel作为生产者，直接把数据生产到kafka中，或者使用flume监控kafka中的数据，把数据发送到其他地方，可以不使用source，使用kafkachannel作为消费者，从kafka中拉数据，把数据写到指定的sink上

使用 source和channel，把数据发送到kafka中,这种方法时nosink,
在这里插入图片描述
下面是配置文件的内容，
在使用kafkachannel中遇到的坑
https://blog.csdn.net/Lu_Xiao_Yue/article/details/85223206

#定义agent名， source、channel的名称
a0.sources = r1
a0.channels = c1

#具体定义source
a0.sources.r1.type = exec
a0.sources.r1.command = tail -F /data/logs.txt


a0.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a0.channels.c1.brokerList = bigdata01:9092,bigdata02:9092,bigdata03:9092
a0.channels.c1.zookeeperConnect=192.168.136.150:2181
a0.channels.c1.topic = usertest
#false表示是以纯文本的形式写进入的，true是以event的形式写进入的，以event写进入时，会出现乱码， 默认是true
a0.channels.c1.parseAsFlumeEvent = false
a0.sources.r1.channels = c1

测试：

执行命令

/home/bigdata/install/apache-flume-1.5.0-cdh5.3.6-bin/bin/flume-ng agent --conf   /home/bigdata/install/apache-flume-1.5.0-cdh5.3.6-bin/conf/ --name a0  --conf-file /home/bigdata/install/apache-flume-1.5.0-cdh5.3.6-bin/job/kafkacannel.conf  -Dflume.root.logger==INFO,console

开启一个消费者：

kafka-console-consumer.sh --bootstrap-server bigdata01:9092,bigdata02:9092,bigdata03:9092 --topic usertest --from-beginning

手动向文件中生产数据

echo "aaaaaaaaa">>/data/logs.txt

观察到消费者消费者到了数据

二、

上面是没有sink，下面介绍no source
配置文件

agent.channels = kafka-channel
agent.sources = no-source
agent.sinks = k1

agent.channels.kafka-channel.type = org.apache.flume.channel.kafka.KafkaChannel

agent.channels.kafka-channel.brokerList = bigdata01:9092,bigdata02:9092,bigdata03:9092
agent.channels.kafka-channel.zookeeperConnect = bigdata01:2181,bigdata02:2181,bigdata03:2181
agent.channels.kafka-channel.topic = sinktopic
agent.channels.kafka-channel.consumer.group.id = groupM
agent.channels.kafka-channel.kafka.consumer.timeout.ms = 100
agent.channels.kafka-channel.parseAsFlumeEvent = false


agent.sinks.k1.type = file_roll
agent.sinks.k1.sink.directory = /home/bigdata/data/logs/kafkaChannel

agent.sinks.k1.channel = kafka-channel

运行命令

/home/bigdata/install/apache-flume-1.5.0-cdh5.3.6-bin/bin/flume-ng agent --conf conf/ --name agent  --conf-file /home/bigdata/install/apache-flume-1.5.0-cdh5.3.6-bin/job/noSource.conf   -Dflume.root.logger==INFO,console

开启kafka生产者：

kafka-console-producer.sh   --broker-list   bigdata01:9092,bigdata02:9092,bigdata03:9092 --topic sinktopic

在这里插入图片描述

查看结果
在这里插入图片描述

问题遇到一个错误：如下
还没解决

Timed out while waiting for data to come from Kafka
kafka.consumer.ConsumerTimeoutException
at kafka.consumer.ConsumerIterator.makeNext(ConsumerIterator.scala:69)
at kafka.consumer.ConsumerIterator.makeNext(ConsumerIterator.scala:33)
at kafka.utils.IteratorTemplate.maybeComputeNext(IteratorTemplate.scala:66)
at kafka.utils.IteratorTemplate.hasNext(IteratorTemplate.scala:58)
at org.apache.flume.channel.kafka.KafkaChannel $K a f k a T r a n s a$