Flume进阶之复制和多路复用、负载均衡和故障转移、聚合案例

目录

一、复制和多路复用

1、需求

2、分析

​编辑

 3、步骤

3.1、在/opt/module/flume-1.9.0/job 目录下创建 group1 文件夹，在/opt/module/flume-1.9.0/目录下创建 data 文件夹，在该文件夹下创建flume文件夹

3.2、在 group1创建 flume-file-flume.conf：配置 1 个接收日志文件的source 和两个 channel、两个 sink，分别输送给 flume-flume- hdfs 和 flume-flume-dir

3.3、在group1下创建flume-flume-hdfs.conf：配置上级 Flume 输出的 Source，输出是到 HDFS 的Sink。

3.4、在group1下创建flume-flume-dir.conf：配置上级 Flume 输出的 Source，输出是到本地目录的 Sink

3.5、先开启HDFS，再分别启动flume-flume-hdfs、flume-flume-dir、flume-file-flume（服务器要先开启，再开启客户端）

 3.6、检查HDFS上的数据

二、负载均衡和故障转移

1、需求

2、分析

3、步骤

3.1、在/opt/module/flume-1.9.0/job 目录下创建 group2 文件夹，在该文件夹下创建flume-netcat-flume.conf、flume-flume-console1.conf、flume-flume-console2.conf

3.2、flume-netcat-flume.conf：配置 1 个 netcat source 和 1 个 channel、1 个 sink group（2 个 sink），分别输送给 flume-flume-console1.conf、flume-flume-console2.conf

3.3、创建 flume-flume-console1.conf：配置上级 Flume 输出的 Source，输出是到本地控制台

3.4、创建 flume-flume-console2.conf：配置上级 Flume 输出的 Source，输出是到本地控制台

3.5、执行配置文件，分别开启对应配置文件： flume-flume-console2.conf ， flume-flume-console1.conf ， flume-netcat-flume.conf(同样是需要先开启服务端，再开客户端)

3.6、使用 netcat 工具向本机的 44444 端口发送内容

3.7、查看Flume2 及 Flume3 的控制台打印日志

3.8、负载均衡需求

三、聚合

 1、需求

2、分析

 3、步骤

3.1、在opt/module/flume-1.9.0/job 目录下创建一个group3 文件夹；分发整个Flume给hadoop103、hadoop104

3.2、在 hadoop102 上创建配置文件flume1-logger-flume.conf：配置 Source 用于监控 hive.log 文件，配置 Sink 输出数据到下一级Flume，并在/opt/module/flume-1.9.0/data下创建空白的文件group.log

3.3、在 hadoop103 上创建配置文件flume2-netcat-flume.conf：配置 Source 监控端口 44444 数据流，配置Sink 数据到下一级Flume

3.4、在 hadoop104 上创建配置文件flume3-flume-logger.conf：配置 source 用于接收 flume1 与 flume2 发送过来的数据流，最终合并后 sink 到控制台

3.5、在各主机上分别执行配置文件：flume3-flume-logger.conf，flume2-netcat-flume.conf，flume1-logger-flume.conf

3.6、在 hadoop102 上向/opt/module/flume-1.9.0/data 目录下的 group.log 追加内容

3.7、在 hadoop103 上向 44444 端口发送数据

3.8、查看hadoop104上的数据

---

一、复制和多路复用

1、需求

        使用 Flume-1 监控文件变动（可以用Exec Source或Taildir Source），Flume-1 将变动内容传递给 Flume-2（用Avro Sink传），（用Avro Source接）Flume-2 负责存储到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。

2、分析

 3、步骤

3.1、在/opt/module/flume-1.9.0/job 目录下创建 group1 文件夹，在/opt/module/flume-1.9.0/目录下创建 data 文件夹，在该文件夹下创建flume文件夹

3.2、在 group1创建 flume-file-flume.conf：配置 1 个接收日志文件的source 和两个 channel、两个 sink，分别输送给 flume-flume- hdfs 和 flume-flume-dir

1）vim flume-file-flume.conf

# Name the components on this agent 
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
#将数据流复制给所有 channel 
a1.sources.r1.selector.type = replicating

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/flume-1.9.0/logs/flume.log
a1.sources.r1.shell = /bin/bash -c

# Describethe sink
# sink 端的 avro 是一个数据发送者 
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop104
a1.sinks.k1.port = 4141

# sink 端的 avro 是一个数据发送者
a1.sinks.k2.type= avro
a1.sinks.k2.hostname = hadoop104
a1.sinks.k2.port = 4142

# Describe thechannel 
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type= memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel =c2

3.3、在group1下创建flume-flume-hdfs.conf：配置上级 Flume 输出的 Source，输出是到 HDFS 的Sink。

# Name the components on this agent 
a2.sources = r1
a2.sinks = k1
a2.channels = c1

# Describe/configure the source 
# source 端的 avro 是一个数据接收服务 
a2.sources.r1.type= avro
a2.sources.r1.bind = hadoop104
a2.sources.r1.port = 4141

# Describe the sink 
a2.sinks.k1.type= hdfs
a2.sinks.k1.hdfs.path = hdfs://hadoop102:8020/flume2/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k1.hdfs.filePrefix = flume2-
#是否按照时间滚动文件夹 
a2.sinks.k1.hdfs.round= true
#多少时间单位创建一个新的文件夹 
a2.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位 
a2.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event 才 flush 到 HDFS 一次
a2.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩 
a2.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k1.hdfs.rollInterval= 30
#设置每个文件的滚动大小大概是 128M
a2.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event 数量无关 
a2.sinks.k1.hdfs.rollCount = 0

# Describe thechannel 
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

3.4、在group1下创建flume-flume-dir.conf：配置上级 Flume 输出的 Source，输出是到本地目录的 Sink

# Name the components on this agent 
a3.sources = r1
a3.sinks = k1
a3.channels = c2

# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop104
a3.sources.r1.port = 4142

# Describe the sink
a3.sinks.k1.type= file_roll
a3.sinks.k1.sink.directory = /opt/module/flume-1.9.0/data/flume

# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 1000
a3.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel 
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2

提示：输出的本地目录必须是已经存在的目录，如果该目录不存在，并不会在本地创建新的目录。

3.5、先开启HDFS，再分别启动flume-flume-hdfs、flume-flume-dir、flume-file-flume（服务器要先开启，再开启客户端）

myhadoop.sh start

bin/flume-ng agent -n a2 -c conf/ -f job/group1/flume-flume-hdfs.conf
bin/flume-ng agent -n a3 -c conf/ -f job/group1/flume-flume-dir.conf
bin/flume-ng agent -n a1 -c conf/ -f job/group1/flume-file-flume.conf

 3.6、检查HDFS上的数据

---

二、负载均衡和故障转移

1、需求

        故障转移需求：使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用FailoverSinkProcessor，实现故障转移的功能。

2、分析

3、步骤

3.1、在/opt/module/flume-1.9.0/job 目录下创建 group2 文件夹，在该文件夹下创建flume-netcat-flume.conf、flume-flume-console1.conf、flume-flume-console2.conf

3.2、flume-netcat-flume.conf：配置 1 个 netcat source 和 1 个 channel、1 个 sink group（2 个 sink），分别输送给 flume-flume-console1.conf、flume-flume-console2.conf

# Name the components on this agent 
a1.sources = r1
a1.channels = c1
a1.sinkgroups = g1
a1.sinks = k1 k2

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port =44444

a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 10
a1.sinkgroups.g1.processor.maxpenalty = 10000

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop104
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop104
a1.sinks.k2.port = 4142

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel 
a1.sources.r1.channels = c1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel =c1

3.3、创建 flume-flume-console1.conf：配置上级 Flume 输出的 Source，输出是到本地控制台

# Name the components on this agent 
a2.sources = r1
a2.sinks = k1
a2.channels = c1

# Describe/configure the source 
a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop104
a2.sources.r1.port = 4141

# Describe the sink
a2.sinks.k1.type = logger

# Describe the channel 
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

3.4、创建 flume-flume-console2.conf：配置上级 Flume 输出的 Source，输出是到本地控制台

# Name the components on this agent 
a3.sources = r1
a3.sinks = k1
a3.channels = c1

# Describe/configure the source 
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop104
a3.sources.r1.port = 4142

# Describe the sink
a3.sinks.k1.type = logger

# Describe the channel 
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1

3.5、执行配置文件，分别开启对应配置文件： flume-flume-console2.conf ， flume-flume-console1.conf ， flume-netcat-flume.conf(同样是需要先开启服务端，再开客户端)

bin/flume-ng agent -c conf/ -n a3 -f job/group2/flume-flume-console2.conf -Dflume.root.logger=INFO,console
bin/flume-ng agent -c conf/ -n a2 -f job/group2/flume-flume-console1.conf -Dflume.root.logger=INFO,console
bin/flume-ng agent -c conf/ -n a1 -f job/group2/flume-netcat-flume.conf

3.6、使用 netcat 工具向本机的 44444 端口发送内容

nc localhost 44444

3.7、查看Flume2 及 Flume3 的控制台打印日志

1）Flume3优先级更高

2）将 Flume3 kill，观察 Flume2 的控制台打印情况。

3.8、负载均衡需求

负载均衡需求：
  使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用FailoverSinkProcessor，实现负载均衡的功能。

步骤：
  只需要修改flume-netcat-flume.conf中a1.sinkgroups.g1.processor的配置内容，把原来相关的内容都删除掉，添加以下，其余相同

a1.sinkgroups.g1.processor.type = load_balance;
#使用退避算法轮询sink组
a1.sinkgroups.g1.processor.backoff = true;

---

三、聚合

 1、需求

        hadoop102 上的Flume-1 监控文件/opt/module/flume-1.9.0/group.log，hadoop103 上的Flume-2 监控某一个端口的数据流，Flume-1 与 Flume-2 将数据发送给 hadoop104 上的 Flume-3，Flume-3 将最终数据打印到控制台

2、分析

 3、步骤

3.1、在opt/module/flume-1.9.0/job 目录下创建一个group3 文件夹；分发整个Flume给hadoop103、hadoop104

3.2、在 hadoop102 上创建配置文件flume1-logger-flume.conf：配置 Source 用于监控 hive.log 文件，配置 Sink 输出数据到下一级Flume，并在/opt/module/flume-1.9.0/data下创建空白的文件group.log

# Name the components on this agent 
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/flume-1.9.0/data/group.log
a1.sources.r1.shell= /bin/bash -c

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop104
a1.sinks.k1.port = 4141

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3.3、在 hadoop103 上创建配置文件flume2-netcat-flume.conf：配置 Source 监控端口 44444 数据流，配置Sink 数据到下一级Flume

# Name the components on this agent 
a2.sources = r1
a2.sinks = k1
a2.channels = c1

# Describe/configure the source
a2.sources.r1.type = netcat
a2.sources.r1.bind = hadoop103
a2.sources.r1.port = 44444

# Describe the sink 
a2.sinks.k1.type = avro
a2.sinks.k1.hostname = hadoop104
a2.sinks.k1.port = 4141

# Use a channel which buffers events in memory 
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 10

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

3.4、在 hadoop104 上创建配置文件flume3-flume-logger.conf：配置 source 用于接收 flume1 与 flume2 发送过来的数据流，最终合并后 sink 到控制台

# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c1

# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop104
a3.sources.r1.port = 4141

# Describe the sink# Describe the sink
a3.sinks.k1.type = logger

# Describe the channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel 
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1

3.5、在各主机上分别执行配置文件：flume3-flume-logger.conf，flume2-netcat-flume.conf，flume1-logger-flume.conf

[lyx@hadoop104 flume-1.9.0]$ bin/flume-ng agent -c conf/ -n a3 -f job/group3/flume3-flume-logger.conf -Dflume.root.logger=INFO,console
[lyx@hadoop103 flume-1.9.0]$ bin/flume-ng agent -c conf/ -n a2 -f job/group3/flume2-netcat-flume.conf
[lyx@hadoop102 flume-1.9.0]$ bin/flume-ng agent -c conf/ -n a1 -f job/group3/flume1-logger-flume.conf

3.6、在 hadoop102 上向/opt/module/flume-1.9.0/data 目录下的 group.log 追加内容

[lyx@hadoop102 data]$ echo 'hello' > group.log

3.7、在 hadoop103 上向 44444 端口发送数据

nc hadoop103 44444

3.8、查看hadoop104上的数据