使用Flume对接Kafka
本篇需要用到Kafka与Flume,需要提前安装好两个软件,若还没安装,推荐先浏览下面推荐内容
Kafka的安装与基本命令的使用.
Flume的初步认识.
-
思考:为什么要将Kafka与Flume对接起来?
答:在实际工作中,Flume主要是用来采集日志文件的,并且用户文件一般不是单单的只给一个用户,可能会发送给多个用户。发送给的用户数可能也是不固定的,需要随时变换,而Flume却不能做到动态的增加、减少,所以我们可以使用Kafka配合着Flume来解决这一问题。 -
在flume中的job(自创)文件夹下创建运行文件,文件内容如下
# define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.type = exec a1.sources.r1.command = tail -F -c +0 /home/data/flume/kafka/test.log # sink a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.bootstrap.servers

最低0.47元/天 解锁文章
614

被折叠的 条评论
为什么被折叠?



