Flume开发 -- 故障转移和负载均衡

一、需求

使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用
FailoverSinkProcessor，实现故障转移功能。

二、流程分析

三、实现步骤

3.1 准备工作

在 /opt/module/flume/job 目录下创建 group2 文件夹

[test@hadoop151 job]$ mkdir group2

3.2 创建 flume-netcat-flume.conf

配置一个 netcat source 和一个 channel、一个 sink group(2 个 sink)，分别输送给 flume-flume-console1 和 flume-flume-console2。

1、编辑配置文件

[test@hadoop151 group2]$ vim flume-netcat-flume.conf

2、添加如下内容

# Name the components on this agent 
a1.sources = r1 
a1.channels = c1 
a1.sinkgroups = g1 
a1.sinks = k1 k2 
 
# Describe/configure the source 
a1.sources.r1.type = netcat 
a1.sources.r1.bind = localhost 
a1.sources.r1.port = 44444 
 
# Describe the sinkgroups
a1.sinkgroups.g1.processor.type = failover 
a1.sinkgroups.g1.processor.priority.k1 = 5 
a1.sinkgroups.g1.processor.priority.k2 = 10 
a1.sinkgroups.g1.processor.maxpenalty = 10000 
 
# Describe the sink 
a1.sinks