flume--多路复用

wangfutai91

于 2019-01-21 16:41:29 发布

阅读量1.9k

点赞数 1

分类专栏： flume

本文链接：https://blog.csdn.net/suojie123/article/details/86577935

版权

Flume 是 Apache 提供的一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。本文深入探讨了 Flume 的多路复用特性，如何通过配置实现数据流的灵活路由，以及在大数据实时传输场景中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

  同一时刻，source只能传输给一个channel
source是通过event header来决定传输到哪一个channel

source   本地
channel c1 localfile c2 mem
sink    k1 logger k2本地目录
如果文件名1_txt 传输到logger 如果是2_txt 传输到本地
a1.sources = s1  
a1.channels = c1 c2
a1.sinks = k1 k2

a1.sources.s1.type = spooldir
a1.sources.s1.channels = c1 c2
a1.sources.s1.spoolDir = /home/wangfutai/a/flume/logs
a1.sources.s1.basenameHeader = true
a1.sources.s1.basenameHeaderKey = myselect
#添加选择器  多路复用
a1.sources.s1.selector.type= multiplexing
#复用规则  selector.header 头名称   mapping.变量名
#mapping后的变量名  就是 每个event 中header 值
# basename=2_txt
a1.sources.s1.selector.header = myselect
a1.sources.s1.selector.mapping.1_txt= c1
a1.sources.s1.selector.mapping.2_txt= c2
a1.sources.s1.selector.default= c1 c2

#配置c1  内存
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 10000
a1.channels.c1.byteCapacityBuffe