本文通过配置Flume的flume-kafka.conf文件，监控/home/hadoop/c.txt文件，将文件内容传送到Kafka的特定topic。同时，创建了一个Java生产的jar包，并在不同终端上分别启动Flume、Kafka消费者和生产者，当消费者接收到与生产者相同的消息时，验证了整个流程的成功。
在flume的配置里建一个文件flume-kafka.conf
生产者产生的数据放在/home/hadoop/c.txt中
topic消费c.txt中的文件
a1.sources = s1
a1.channels = c1
a1.sinks = k1
a1.sources.s1.type=exec
#设置要监控的文件夹
a1.sources.s1.command=tail -F /home/hadoop/c.txt
a1.sources.s1.channels=c1
a1.channels.c1.type=memory 
最低0.47元/天 解锁文章
557
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
