Flume容错机制描述
当集群中有多台Flume机器在工作的时候,就要考虑集群中随时有机器宕机的情况,当有机器宕机,如何保证数据不丢失,下面我来介绍一下Flume的容错机制。就是建立Flume备胎,创建Standby节点,虽然可以解决单节点故障问题,但是集群的资源也会浪费,因为有一个是等待的,占用资源不干活,下面来看看架构图:
Agent1配置文件:
#agent1 name
agent1.channels = c1
agent1.sources = r1
agent1.sinks = k1 k2
#set gruop
agent1.sinkgroups = g1
#set channel
agent1.channels.c1.type = memory
agent1.channels.c1.capacity = 1000
agent1.channels.c1.transactionCapacity = 100
agent1.sources