【flume】flume 的 负载均衡 load-balance、容错 failover

前言

之前的conf主要是单机的flume部署操作，这篇讲下集群的flume部署操作，可以先看前两篇。 集群

load-balance负载均衡

介绍

负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。

Load balancing Sink Processor 能够实现 load balance 功能，如下图Agent1 是一个路由节点，负责将 Channel 暂存的 Event 均衡到对应的多个 Sink组件上，而每个 Sink 组件分别连接到一个独立的 Agent 上

负载均衡（load_balance） 用于解决一个人干活处理不了多个一起来处理，然后如何分配的问题

• 轮询 （round_robin） 随机（random） 权重

配置

Agent1：在我的had-node2上

cd flume/conf

vi exec-avro.conf

#agent1 name
agent1.channels = c1
agent1.sources = r1
agent1.sinks = k1 k2
#set gruop
agent1.sinkgroups = g1
#set channel
agent1.channels.c1.type = memory
agent1.channels.c1.capacity = 1000
agent1.channels.c1.transactionCapacity = 100
agent1.sources.r1.channels = c1
agent1.sources.r1.type = exec
agent1.sources.r1.command = tail -F /root/logs/123.log
# set sink1
agent1.sinks.k1.channel = c1
agent1.sinks.k1.type = avro
agent1.sinks.k1.hostname = node-2
agent1.sinks.k1.port = 52020
# set sink2
agent1.sinks.k2.channel = c1
agent1.sinks.k2.type = avro
agent1.sinks.k2.hostname = node-3
agent1.sinks.k2.port = 52020
#set sink group
agent1