Flume内部原理

1.拦截器

对source接受的数据。

2.channel选择器

过滤后的数据推送到对应的channel中。

• 选择器：
• replicating 复制选择器 数据完整地发送到每一个channel。
• multiplexing 多路复用选择器 根据规则匹配对应的channle。

3.sink组处理器

• 决定哪个 Sink接受数据
• 为什么要使用sink组逻辑处理器？
  负载均衡和故障转移。
  负载均衡是把channel里面的Event按照配置的负载机制（比如轮询）分别发送到sink各自对应的目的地；来缓解单个sink的压力。
  故障转移就是这N个sink同一时间只有一个在工作，其余的作为备用，工作的sink挂掉之后备用的sink顶上。
• 有哪些sink处理器？
  （1）load-balancing Sink处理器,此处理器选择顺序有两种顺序:如果顺序被设置为random，那么将随机从Sink组的Sink中选择一个，用来从自己的Channel中移除事件并将它们写出。round-robin选项使Sink以循环的方式被选择：每个选择循环调用定义Sink组中指定顺序Sink的process方法。
  （2） failover Sink处理器 按照sink的优先级从高到低依次选择。