《大数据： Flume 故障转移（Failover Sink Processor）》

最新推荐文章于 2023-06-22 11:58:50 发布
最新推荐文章于 2023-06-22 11:58:50 发布
阅读量227 收藏
点赞数
分类专栏： 【 大数据：上篇 】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiangCSDN/article/details/109202918
版权
【 大数据：上篇 】 专栏收录该内容
107 篇文章 35 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细介绍了Flume的故障转移机制，使用Failover Sink Processor确保数据在多个sink间可靠传递。当高优先级的sink故障时，Flume会切换到下一个可用的sink。通过配置示例和实际操作展示了在hadoop1、hadoop2和hadoop3之间如何实现故障转移，并验证了在hadoop2故障后hadoop3能够接管工作。此外，还提及了Flume的聚合功能，但提到很少使用，建议读者自行探索。
摘要由CSDN通过智能技术生成

一、Flume  故障转移

Failover Sink Processor

  • Failover Sink Processor维护了一个多个sink的有优先级的列表，按照优先级保证，至少有一个sink是可以工作的，如果根据优先级发现，优先级高的sink故障了，故障的sink会被转移到一个故障的池中冷却，在冷却时，故障的sink也会不断尝试发送event，一旦发送成功，此时会将故障的sink再移动到存活的池中

1. 组件选择

①. Failover Sink Processor

了解本专栏 订阅专栏 解锁全文
HarkerYX
关注
专栏目录
订阅专栏
Flume11：【案例】Sink Processors之 Failover Sink Processor 【故障转移】
weixin_40612128的博客
03-04 382
一、Failover Sink Processor 接下来我们来看一下故障转移 在这个图中，也是一个channel后面接了两个sink，但是这里和负载均衡架构不一样的是，这两个sink正常情况下只有一个干活，另一个是不干活的 来看一下Failover Sink Processor的文档介绍 看中间的参数解释 sinks：指定这个sink groups中有哪些sink，指定sink的名称，多个的话中间使用空格隔开即可 processor.type：针对故障转移的sink处理器，使用failover pro
Flume ——故障转移
WJWFighting的博客
08-02 3636
Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。 简单的说就是一个source 对应一个Sinkgroups，即多个sink,这里实际上与第六节的复用/复制情况差不多，只是这里考虑的是可靠性与性能，即故障转移与负载均衡的设置。 下面是官方配...
Flume配置Failover Sink Processor
02-22 208
1 官网内容 2 看一张图一目了然 3 详细配置 　　source配置文件 　　 #配置文件： a1.sources= r1 a1.sinks= k1 k2 a1.channels= c1 #负载平衡 a1.sinkgroups = g1 a1.sinkgroups.g1.sinks = k1 k2 ...
flume故障转移详解
weixin_46122692的博客
11-23 855
1、需求： 使用Flume1监控一个端口，其sink组中的sink分别对接Flume2和Flume3 LoadBalancingSinkProcessor可以实现负载均衡的功能，FailoverSinkProcessor可以实现故障转移的功能. 2、需求分析 3、准备 在/data/flume/apache-flume/job目录下创建group2文件夹 cd /data/flume/apache-flume/job mkdir group2 4、创建flume1 agent配置文件flume-n
flume故障转移
鸭梨的博客
10-27 634
什么是sink故障转移? 比如本来是source1 — channerl1 – sink1 这样简单的模型可是sink1挂了怎么办呢?这时候整个通路就挂掉了,不科学.所以可以多设置几个sink. 比如设置一个sink的池子,有sink1,sink2.然后设置优先级, sink1 10,sink2 5. 正常情况下用sink1. sink2闲置. 如果sink1挂了,就启用sink2. 模拟这种情况,flume如何杀死一个sink1 还能保证source1和channel1活着呢? 貌似不行. 加一个agen
Flume案例七：故障转移(Failover Sink Processor)
扛麻袋的少年的博客
06-25 515
Flume案例七：故障转移(Failover Sink Processor) 选型：  Flume-1：netcat source + memory channel + avro sink + Failover Sink Processor(故障转移)  Flume-2：avro source + memory channel + logger sink  Flume-3：avro source + memory channel + logger sink
Flume--failover sink processor
tianqinglei的博客
08-30 1042
failover sink processor根据优先级从sink组中选择宿。具有最高优先级的接收器将写入数据直到其失败（接收器的故障甚至可能是因为下游代理在RPC陷阱的情况下死亡），然后选择组中其他接收器中具有最高优先级的接收器。选择不同的接收器才能在当前接收器写入数据失败时写入数据。这确保了当没有故障时，第二层上的所有代理都有一个从每个机器写入的接收器，并且只有在某些机器看到更多的传入数据时才
大数据：Flume和Sqoop
Xiao Miao的博客
05-12 2036
离线数据采集工具Sqoop和实时数据采集工具Flume
3.flume故障转移（failover）
飞少fly的博客
05-31 528
1、故障转移（failover）： master： ]# ./bin/flume-ng agent --conf conf --conf-file ./conf/flume-client.properties --name agent1 -Dflume.root.logger=INFO,console slave1： ]# ./bin/flume-ng agent --conf conf --conf-file ./conf/flume-server.properties --name a1 .
flume容错（故障转移）
xiaoliuxxs
09-13 425
第六讲
Flume - 故障转移、负载均衡
BlessingXRY的博客
10-20 617
故障转移 概述： 故障转移机制的工作方式是将失败的sink放到一个池中，并在池中为它们分配一段冷冻期，在重试之前随着连续的失败而增加。一个sink成功发送event后，将其恢复到活动池。sink有一个与它们相关联的优先级，数字越大表示优先级越高。如果一个sink在发送event时失败，则下一个具有最高优先级的sink将被尝试用于发送事件。 实例： # hadoop105 # Name t...
Flume系列：案例-Flume负载均衡和故障转移
wester的博客
05-28 1212
系统环境：centos7Java环境：Java8案例只演示通道流程，其中Source，channel，Sink的种类按需调整故障转移配置与负载均衡两个选一个，不能同时配置。
flume负载均衡案例
东城庞太师
02-10 317
1.node01上配置：exec-avro.conf #agent1 name agent1.channels = c1 agent1.sources = r1 agent1.sinks = k1 k2 #set gruop agent1.sinkgroups = g1 #set channel agent1.channels.c1.type = memory agent1.channel...
Flume组件——grouping processor(failover sink processor—实现级联模式下的高可用)
LOGAN'S BLOG
10-08 352
Flume中有多个组件，其中最重要的一个组件就是grouping processor / sink processor sink process
【Flume】高级组件之Sink Processors及项目实践（Sink负载均衡和故障转移）
最新发布
ccql's Blog
06-22 1673
Sink Processors类型包括这三种：Default Sink Processor、Load balancing Sink Processor和Failover Sink Processor。Default Sink Processor是默认的，不用配置Sink group，就是咱们现在使用的这种最普通的形式，一个Channel后面接一个Sink的形式；
Flume的可靠性保证：故障转移、负载均衡
hyunbar的博客
03-22 373
Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。 下面是官方配置： 从参数类型上可以看出有3种Processors类型：default, failover（故障转移）和 load_balance（负载均衡），当然，官网上说目前自定义...
flume拓扑结构之故障转移和负载均衡
mo
07-04 621
关于故障转移：Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。 我们去官网看一下Failover Sink Processor（故障转移） FailoverSink Processor会通过配置维护了一个优先级列表。保证每一个有效的事件都会被处理。 故障转移的工作原理是将连续失败的sink分配到一个失败的消息队列中这个sink不会做任何事。假如在一个A
Flume经典案例之故障转移和负载均衡
wanjialin的博客
12-26 567
项目场景： 1、安装netcat工具 命令yum install -y nc 2、本次监听的端口是22222，33333，44444，检查端口是否被占用 命令netstat -tunlp | grep 22222，netstat -tunlp | grep 33333，netstat -tunlp | grep 44444 操作步骤： 1、创建配置文件，agent2.conf，分别在node1，node2，node3中 内容如下： #node1 a1.sources=r1 a1.channels=c1 a1
巴豆大数据：Flume日志收集系统详解与实战指南
Flume 在大数据日志处理领域扮演着至关重要的角色，它的强大功能和可定制性使其成为现代大数据生态系统中的关键组件之一。通过掌握 Flume，用户可以有效地管理和分析海量日志数据，为业务洞察和决策提供强有力的支持...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HarkerYX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值