【Kafka】使用Flume对接Kafka

使用Flume对接Kafka

本篇需要用到Kafka与Flume,需要提前安装好两个软件,若还没安装,推荐先浏览下面推荐内容
Kafka的安装与基本命令的使用.
Flume的初步认识.

  • 思考:为什么要将Kafka与Flume对接起来?
    答:在实际工作中,Flume主要是用来采集日志文件的,并且用户文件一般不是单单的只给一个用户,可能会发送给多个用户。发送给的用户数可能也是不固定的,需要随时变换,而Flume却不能做到动态的增加、减少,所以我们可以使用Kafka配合着Flume来解决这一问题。

  • 在flume中的job(自创)文件夹下创建运行文件,文件内容如下

    # define
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # source
    a1.sources.r1.type = exec
    a1.sources.r1.command = tail -F -c +0 /home/data/flume/kafka/test.log
    
    # sink
    a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
    a1.sinks.k1.kafka.bootstrap.servers 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值