flume flume高可用配置

注意

• 先启动collector（先启动1或者2都行），后启动agent1
• 再高权重collector挂掉再重启之后，数据仍然发往高权重的collector

角色分配

名称	HOST	角色
Agent1	Web	Server
Collector1	node02	AgentMstr1
Collector2	node03	AgentMstr2

• Agent1数据分别流入到Collector1和Collector2。
• 3个角色agent1 agent2（collector1） agent3（collector2） 分别位于node01 node02 node03

代码示例

agent1

#agent1 name
agent1.channels = c1
agent1.sources = r1
agent1.sinks = k1 k2
#
##set gruop
## 当指定多个sinks在一个agent中时，需要指定sinkgroups
agent1.sinkgroups = g1
#
##set channel
agent1.channels.c1.type = memory
agent1.channels.c1.capacity = 1000
agent1.channels.c1.transactionCapacity = 100
#
agent1.sources.r1.channels = c1
agent1.sources.r1.type = exec
agent1.sources.r1.command = tail -F /flume/taillogs/access_log
# 拦截器
## k1 在每个event前加login k2在每个event前加timestamp
agent1.sources.r1.interceptors