flume 高可用集群

发送时也是batch和time共同控制

conf文件配置时，要小心不可见字符，最好从官网复制，或者手打

1、数据源source端配置
source端，配置1个source，1个channel，2个sink，配置了sink 组后，由于是fail over，每次只使用一个sink，所以配置1个channel就可以了

a1.sources = r1
a1.channels =c1
a1.sinks = s1 s2


a1.sinks.s1.channel = c1
a1.sinks.s2.channel = c1

#设置 sink group

#设置组的处理类型为 failover，可选的还有load_balance和default
#k1、k2在使用过程中只有一个可用，且k1优先级高于k2，如果k1宕机之后恢复之后
#可以使用的仍然是k1，而不是k2

a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = s1 s2
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.s1 = 5
a1.sinkgroups.g1.processor.priority.s2 = 10
a1.sinkgroups.g1.processor.maxpenalty = 10000

2、master和slave端配置

测试时，source端增加拦截器，sink端用logger，在日志中就可以看到，但是1个channel对应1个sink，如果1个channel，2个sink，否则数据只进1个sink

master.sinks.s3.type = logger
master.sinks.s3.channel = c2

master.sources.r1.interceptors = i1
master.sources.r1.interceptors.i1.type = static
master.sources.r1.interceptors.i1.key = datacenter1
master.sources.r1.interceptors.i1.value = NEW_YORK1

https://blog.csdn.net/jinYwuM/article/details/82594618
https://blog.csdn.net/aA518189/article/details/80888306
https://www.cnblogs.com/jack-Star/p/9931844.html