flume第六讲:kafka channels(多用于实时)

flume第六讲:kafka channels(多用于实时)

工作机制
agent利用kafka作为channel数据缓存
kafka channel和kafka sources,kafka sink区分开来
kafka channel再应用时,可以没有source或者说可以没有sink
如果是把kafka作为最终的采集,那么就只要source+kafka channel
如果要是把kafka作为数据源,写入hdfs,那么就只要kafka channel+hdfs sink就可以

vi kafka-channel.conf

a1.sources = s1
a1.channels = c1

a1.sources.s1.type = exec
#flume监听的路径
a1.sources.s1.command = tail -F /logs22/a.log
a1.sources.s1.channels = c1

a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = doit01:9092,doit02:9092,doit03:9092,
#默认指派的partitionid(对source生效)
a1.channels.c1.parseAsFlumeEvent = false
a1.channels.c1.kafka.topic = doit13

flume执行配置文件

[root@doit02 flume-1.9.0-bin]# bin/flume-ng agent -n a1 -c conf -f \
agent/kafka-channel.conf -Dflume.root.logger=INFO,console

开始消费数据

bin/kafka-console-consumer.sh --bootstrap-server doit01:9092, doit02:9092, doit03:9092 --topic doit13 --from-beginning

被监听的路径追加数据

[root@doit02 logs22]# echo "zhangliyaqwe" >> a.logzhangliyua
[root@doit02 logs22]# echo "zhang" >> a.log
[root@doit02 logs22]# echo "zhang123" >> a.log

kafka的消费话题doit13就能消费到(0延迟)

[root@doit01 kafka_2.11-2.2.2]# bin/kafka-console-consumer.sh --bootstrap-server doit01:9092, doit02:9092, doit03:9092 --topic doit13 --from-beginning
zhangliya
zhang