大数据flume测试故障转移功能时遇到的问题

最新推荐文章于 2023-09-05 21:18:13 发布

1245without3

最新推荐文章于 2023-09-05 21:18:13 发布

阅读量210

点赞数

本文链接：https://blog.csdn.net/suihongxue/article/details/99417898

版权

在测试Flume的大数据故障转移功能时，创建了Flume-1、Flume-2和Flume-3，其中Flume-2和Flume-3组成sink groups。遇到的问题是Flume-1无法连接到Flume-3，经过检查发现配置文件顺序不正确。通过逐一校正配置文件内容顺序，最终成功实现了故障转移功能。

摘要由CSDN通过智能技术生成

在学习flume测试故障转移功能时，案例需求如下
建立Flume-1,Flume-2,Flume-3。使Flume-2和Flume-3成为一个sinks groups，Flume1串联这个sink groups。当sink group组中的其中一个flume故障后，能保证另一个正常执行flume功能
上图说明：
建立Flume-1（hadoop102）,Flume-2（hadoop103）,Flume-3（hadoop104）。使Flume-2和Flume-3成为一个sinks groups，Flume1串联这个sink groups。当sink group组中的其中一个flume故障后，能保证另一个正常执行flume功能
给flume1（hadoop102）添加配置文件，文件内容

a1.sources = r1
a1.channels = c1
a1.sinkgroups = g1
a1.sinks = k1 k2

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/datas/data.log

a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 10
#a1.sinkgroups.g1.processor.maxpenalty = 10000

# De