三、flume数据流
一个source可以有多个channel,
但一个sink只能有一个channel
source、channel、sink均需要设定一个type属性,来表示组件的类型。 可配置内置的type名称,如netcat、memory、hdfs
(详见SourceType.java、ChannelType.java、SinkType.java)
或配置自定义类名,如org.apache.flume.source.scribe.ScribeSource、org.apache.flume.channel.kafka.KafkaChannel等
1 single flow
2 multiple flow
3 multi agent flow
两个agent可以通过avro数据传输格式连接:
图:agent1的sink与agent2的source需采用avro/thrift对接
4 fan out flow
方式1:replicating 一个event将发送至所有的channel
方