flume--多路复用

Flume 是 Apache 提供的一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。本文深入探讨了 Flume 的多路复用特性,如何通过配置实现数据流的灵活路由,以及在大数据实时传输场景中的应用。
摘要由CSDN通过智能技术生成
  同一时刻,source只能传输给一个channel
source是通过event header来决定传输到哪一个channel

source   本地
channel c1 localfile c2 mem
sink    k1 logger k2本地目录
如果文件名1_txt 传输到logger 如果是2_txt 传输到本地
a1.sources = s1  
a1.channels = c1 c2
a1.sinks = k1 k2

a1.sources.s1.type = spooldir
a1.sources.s1.channels = c1 c2
a1.sources.s1.spoolDir = /home/wangfutai/a/flume/logs
a1.sources.s1.basenameHeader = true
a1.sources.s1.basenameHeaderKey = myselect
#添加选择器  多路复用
a1.sources.s1.selector.type= multiplexing
#复用规则  selector.header 头名称   mapping.变量名
#mapping后的变量名  就是 每个event 中header 值
# basename=2_txt
a1.sources.s1.selector.header = myselect
a1.sources.s1.selector.mapping.1_txt= c1
a1.sources.s1.selector.mapping.2_txt= c2
a1.sources.s1.selector.default= c1 c2

#配置c1  内存
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 10000
a1.channels.c1.byteCapacityBuffe
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值