flume故障转移

什么是sink故障转移? 比如本来是source1 — channerl1 – sink1 这样简单的模型可是sink1挂了怎么办呢?这时候整个通路就挂掉了,不科学.所以可以多设置几个sink. 比如设置一个sink的池子,有sink1,sink2.然后设置优先级, sink1 10,sink2 5. 正常情况下用sink1. sink2闲置. 如果sink1挂了,就启用sink2. 模拟这种情况,flume如何杀死一个sink1 还能保证source1和channel1活着呢? 貌似不行.

加一个agent.正常情况下.因为k1优先级高,所以正常情况下不走k2
source1 — channerl1 – sink1–(agent2) – chanel1-logger1
当sink1宕机时,
则是source1 — channel1 – sink2–(agent3) – chane21-logger2

设置一个source,一个channel,2个sink.其中sink1优先级高,sink2作为备用sink.在sink1宕机时发挥作用.

#list names
a1.sources = r1
a1.channels = c1
a1.sinks = k1 k2
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1


# source
a1.sources.r1.type = syslogtcp
a1.sources.r1.host = mypc01
a1.sources.r1.port = 10086

# channel
a1.channels.c1.type = memory

# sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = mypc02
a1.sinks.k1.port = 10087

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = mypc03
a1.sinks.k2.port = 10088

#设置sink组
a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 10
a1.sinkgroups.g1.processor.priority.k2 = 5
a1.sinkgroups.g1.processor.maxpenalty = 10000

下游
下游与上游是通过host和port连接的,所有k1的输出结果会进一步输出到下游的k1.

#list names
a1.sources = r1
a1.channels = c1
a1.sinks = k1
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1


# source
a1.sources.r1.type = avro
a1.sources.r1.bind = mypc02
a1.sources.r1.port = 10087

# channel
a1.channels.c1.type = memory

# sink
a1.sinks.k1.type = logger

另一个下游.
这个下游根据host和port适合上游sink2对接的.当上游启用sink2时候,该下游的k1也会启动.

#list names
a1.sources = r1
a1.channels = c1
a1.sinks = k1
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1


# source
a1.sources.r1.type = avro
a1.sources.r1.bind = mypc03
a1.sources.r1.port = 10088

# channel
a1.channels.c1.type = memory

# sink
a1.sinks.k1.type = logger

测试
测试时可以给mypc01 发送消息,这样上游sink1 和下游k1 同时输出.
然后杀死下游k1. 则sink1无法输出.宕机.启用上游sink2. 此时sink2和另一个下游k1可以输出.

 echo "helloworld" | nc mypc01 10086

总结: flume故障转移就是有几个备用的sink,正常情况下用优先级高的,宕机了就依据优先级依次用其余的.

sink具有与之相关的优先级，数值越大，优先级越高。 如果在发送Event时Sink发生故障，会继续尝试下一个具有最高优先级的sink。 例如，在优先级为80的sink之前激活优先级为100的sink。如果未指定优先级，则根据配置中的顺序来选取。

要使用故障转移选择器，不仅要设置sink组的选择器为failover，还有为每一个sink设置一个唯一的优先级数值。 可以使用 maxpenalty 属性设置故障转移时间的上限（毫秒）。