Flume 扇入(fanin)扇出(fanout)案例

案例三、Flume 与 Flume 之间数据传递,多 Flume 汇总数据到单 Flume。目标:flume-fanin-1监控某一个端口的数据流,flume-fanin-2 监控文件,flume-fanin-1 和 flume-fanin-2 将数据发送给 flume-fanin-3,flume-fanin-3 将最终数据写入到HDFS。分步实现1.创建 flume-fanin-1.co...
摘要由CSDN通过智能技术生成

案例三、Flume 与 Flume 之间数据传递,多 Flume 汇总数据到单 Flume。

1

目标:flume-fanin-1监控某一个端口的数据流,flume-fanin-2 监控文件,flume-fanin-1 和 flume-fanin-2 将数据发送给 flume-fanin-3,flume-fanin-3 将最终数据写入到HDFS。
分步实现
1.创建 flume-fanin-1.conf,用于监控端口 55555,同时 sink 数据到 flume-fanin-3

# 1 agent
a1.sources = netcat-a1
a1.sinks = avro113
a1.channels = c1

# 2 source
a1.sources.netcat-a1.type = netcat
a1.sources.netcat-a1.bind = bigdata111
a1.sources.netcat-a1.port = 55555

#3 sink
a1.sinks.avro113.type = avro
a1.sinks.avro113.hostname = bigdata113
a1.sinks.avro113.port = 4141

# 4 channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 5 Bind
a1.sources.netcat-a1.channels = c1
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值