flume的SinkProcessor

最新推荐文章于 2023-06-22 11:58:50 发布
最新推荐文章于 2023-06-22 11:58:50 发布
阅读量395 收藏
点赞数
分类专栏： Flume 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43662627/article/details/109061554
版权

sinkprocessor提供负载均衡和故障转移功能，
FailovoerSinkProcessor 的原理如下：
sink维护一个sink的优先级列表，保证有一个sink可以干活，如果一个sink发生故障，那么flume会将sink置于冷却池内，并不断重试，在成功实现发送一个event后，会将flume重新放置到存活池里

在这里插入图片描述
load balancing sink processor：
提供轮询或者随机的负载算法
在这里插入图片描述




#hadoop01
flume-ng agent -n a1 -c conf/ -f myagents/failoversink.conf    -Dflume.root.logger
最低0.47元/天 解锁文章
Drgom
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据学习笔记53：Flume Sink Processors（Flume接收器处理器）
howard2005的专栏
02-15 666
文章目录一、Flume Sink Processors用户指南二、Default Sink Processor三、FailOver Sink Processor四、Load Balancing Sink Processor 一、Flume Sink Processors用户指南 http://flume.apache.org/releases/content/1.9.0/FlumeUserGuid...
flume sink processor
weixin_30757793的博客
07-05 150
sink groups使多个不同的sink组成一个整体，而sink processor提供了组内负载均衡和故障转移的功能。 有三种sink processor :default sink processor,failover sink processor,Load balancing Sink Processor。 default sink processor 一般的单独的sink fai...
Flume Sink Processor
happy19870612's blog
11-21 945
SinkGroup允许组织多个sink到一个实体上。SinkProcessors 能够提供在组内所有sink之间实现负载均衡的能力。而且在失败的情况下能够进行故障转移。 sinks： 空格分隔的多个sink processor.type:default|failover|load_balance 一 DefaultSink Processor 只允许接收单个sink,不强制用户为sink创
Flume (四) Sink Processors
WuTing的专栏
07-26 715
接收组（Sink groups）允许用户将多个接收器分组到一个实体中。 接收器处理器（Sink processors）可用于在组内的所有接收器上提供负载均衡功能，或在临时故障（temporal failure）的情况下实现从一个接收器到另一个接收器的故障转移。
flume源码分析-SinkProcessor
fannk的博客
07-14 421
flume包括三种sink processor，DefaultSinkProcessor，FailoverSinkProcessor，LoadBalancingSinkProcessor   Default sink processor that only accepts a single sink, passing on process results without any additi...
Flume用法
01-07
Flume包含三部分 Source:从哪收集,一般使用：avro(序列化),exec(命令行),spooling(目录)，taildir(目录和文件，包含offset,不会数据丢失),kafka Channel:数据存哪里:(memory,kafka,file) Sink:数据输出到...
flume安装程序
12-10
Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。它是Apache Hadoop生态系统的一部分，特别设计用于处理和传输大规模流式数据。Flume通过简单而灵活的架构实现了数据的高效...
Flume.xmind
07-18
以下为主要主题：Flume基本概念、Flume事件概念与原理、Flume安装配置、Flume配置文件、Flume实战；此资源参考《大数据技术原理与应用》、《从零开始学大数据分析》、湖南科技职业学院人工智能大数据教研组《分布式...
Flume答案1
08-08
Flume 配置文件详解 Flume 是一个高可靠、可扩展的数据收集系统，我们可以通过配置文件来定义数据的收集、传输和存储过程。下面我们通过一个实际的配置文件，来详细解释 Flume 的配置文件的各个组成部分。 首先，...
Flume日志收集
02-25
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。(1)可靠性当节点出现故障时...
Flume 总结（八）sink processor类型-1.9.0新版
xiaohu21的博客
10-10 961
Flume 总结（八）sink processor类型-1.9.0新版 1. sink processor Default Sink Processor Failover Sink Processor 使用这个结合agent级联，可以搭建高可用HA agen网络 Load balancing Sink Processor Custom Sink Processor
Flume：3.输出模式处理器【sink-processor】
zeng255938的博客
08-25 377
Flume配置的三个“器”： 1.消息源拦截器【source-Interceptor】 2.通道选择器【source-selector】 3.输出模式处理器【sink-processor】（本文） #agent1 name agent1.channels = c1 agent1.sources = r1 agent1.sinks = k1 k2 ## ------------------...
Flume容错机制 : Sink Processor
weixin_43326165的博客
09-21 535
Sink Processors是作用在sink组件上的容错机制。通过调度Sink Groups（就是分了组的Sinks），可以做到负载均衡(load_balance Processors)和类似HDFS中Namenode高可用(Failover Processors )那样的目的。 Failover Sink Processor Name Default Description s...
Flume--failover sink processor
tianqinglei的博客
08-30 1025
failover sink processor根据优先级从sink组中选择宿。具有最高优先级的接收器将写入数据直到其失败（接收器的故障甚至可能是因为下游代理在RPC陷阱的情况下死亡），然后选择组中其他接收器中具有最高优先级的接收器。选择不同的接收器才能在当前接收器写入数据失败时写入数据。这确保了当没有故障时，第二层上的所有代理都有一个从每个机器写入的接收器，并且只有在某些机器看到更多的传入数据时才
【Flume】高级组件之Sink Processors及项目实践（Sink负载均衡和故障转移）
最新发布
ccql's Blog
06-22 1508
Sink Processors类型包括这三种：Default Sink Processor、Load balancing Sink Processor和Failover Sink Processor。Default Sink Processor是默认的，不用配置Sink group，就是咱们现在使用的这种最普通的形式，一个Channel后面接一个Sink的形式；
Flume Sink Processors官网剖析（博主推荐）
weixin_34221332的博客
04-25 78
      不多说，直接上干货！   Flume Sources官网剖析(博主推荐） Flume Channels官网剖析(博主推荐） Flume Channel Selectors官网剖析(博主推荐） Flume Sinks官网剖析（博主推荐）             一切来源于flume官网 http://flume.apache.org/FlumeUser...
Flume笔记三之Inteceptor,selector,processor
ty4315的专栏
11-20 1560
flume中的Inteceptor,selector,processor简介
flume sink运行过程简单分析
weixin_30532369的博客
02-05 183
没有运行，直接看源码得到sink简单运行过程 SinkRunner负责运行sink程序 内部类 PollingRunnerimplements Runnable { 　　private SinkProcessor policy; } 负责运行sink run方法 while (!shouldStop.get()) { 　　try { 　　...
Flume
maben996
01-12 493
Flume 一、Flume 概述 1.1 Flume 定义 ​ Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 ​ Flume 最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到 HDFS。 1.2 Flume 基础架构 Agent Agent 是一个 JVM 进程，它以事件的形式将数...
Flume1.8安装部署
04-23
本文将重点介绍Flume1.8的安装部署，包括下载地址、安装环境工具下载地址、单个Flume安装、多个Flume安装及HA、应用场景以及Flume-Ng组件概述。 首先，为了安装Flume1.8，我们需要进行一些准备工作。我们可以从...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值