Flume-事务性、Agent内部原理及拓扑结构

Flume进阶

Flume的事务

Agent内部原理

以上提到的put事务将会发生在6中，即将source数据推送到channel的过程中。

Replication Channel Selector的配置如下（可从官方用户手册获取到）：

Multiplexing Channel Selector的配置如下：

Event的header是map，即KV键值对；body是具体的数据。

SinkProcessor，可以把多个sink分成一个组， 这时候Sink组逻辑处理器（Flume Sink Processors）可以对这同一个组里的几个sink进行负载均衡或者其中一个sink发生故障后将输出Event的任务转移到其他的sink上。

说的直白一些，这N个sink本来是要将Event输出到对应的N个目的地的，通过SinkProcessor就可以把这N个sink配置成负载均衡或者故障转移的工作方式（暂时还不支持自定义的）。 负载均衡就方式是把channel里面的Event按照配置的负载机制（比如轮询）分别发送到sink各自对应的目的地；故障转移就是这N个sink同一时间只有一个在工作，其余的作为备用，工作的sink挂掉之后备用的sink顶上。

DefauleSinkProcessor：默认的组逻辑处理器就是只有一个sink的情况（准确说这根本不算一个组），所以这种情况就没必要配置sink组了

LoadBalancingSinkProcessor：负载均衡处理器，提供了在多个sink上进行负载均衡流量的功能。 它维护一个活动sink列表的索引来实现负载的分配。 默认支持了轮询（round_robin）和随机（random）两种选择机制分配负载。 默认是轮询，可以通过配置来更改。

配置及说明如下：

工作时，此选择器使用其配置的选择机制选择下一个sink并调用它。 如果所选sink无法正常工作，则处理器通过其配置的选择机制选择下一个可用sink。 此实现不会将失败的Sink列入黑名单，而是继续乐观地尝试每个可用的Sink。

如果所有sink调用都失败了，选择器会将故障抛给sink的运行器。

如果backoff设置为true则启用了退避机制，失败的sink会被放入黑名单，达到一定的超时时间后会自动从黑名单移除。 如从黑名单出来后sink仍然失败，则再次进入黑名单而且超时时间会翻倍，以避免在无响应的sink上浪费过长时间。 如果没有启用退避机制，在禁用此功能的情况下，发生sink传输失败后，会将本次负载传给下一个sink继续尝试，因此这种情况下是不均衡的。

FailoverSinkProcessor：故障转移处理器维护了一个发送Event失败的sink的列表，保证有一个sink是可用的来发送Event。

配置及说明如下：

故障转移机制的工作原理是将故障sink降级到一个池中，在池中为它们分配冷却期（超时时间），在重试之前随顺序故障而增加。 Sink成功发送事件后，它将恢复到实时池。sink具有与之相关的优先级，数值越大，优先级越高。 如果在发送Event时Sink发生故障，会继续尝试下一个具有最高优先级的sink。 例如，在优先级为80的sink之前激活优先级为100的sink。如果未指定优先级，则根据配置中的顺序来选取。

要使用故障转移选择器，不仅要设置sink组的选择器为failover，还有为每一个sink设置一个唯一的优先级数值。 可以使用 maxpenalty 属性设置故障转移时间的上限（毫秒）。

拓扑结构

简单串联

这种模式是将多个flume顺序连接起来，从最终的source开始到最终的sink传送的目的存储系统。此模式不建议桥接过多的flume数量，flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点flume宕机，会影响整个传输系统。

复制和多路复用

Flume支持将事件流向一个或多个目的地，这种模式可以将相同数据复制到多个channel中，或者将不通数据分发到不同的channel中，sink可以选择传送到不同的目的地。

负载均衡和故障转移

Flume支持将多个sink逻辑分到一个sink组，sink组配合不同的SinkProcessor可以实现负载均衡和错误恢复的功能。

聚合