大数据学习笔记53：Flume Sink Processors（Flume接收器处理器）

最新推荐文章于 2024-11-16 22:44:02 发布
最新推荐文章于 2024-11-16 22:44:02 发布
阅读量717 收藏
点赞数
分类专栏： 探索大数据世界
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/howard2005/article/details/104323235
版权
本文档介绍了Apache Flume的Sink处理器，包括Default Sink Processor、FailOver Sink Processor和Load Balancing Sink Processor，旨在帮助用户理解如何在接收器组中实现负载均衡和故障切换。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、Flume Sink Processors用户指南

http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#flume-sink-processors
在这里插入图片描述
接收器组允许用户将多个接收器组合成一个实体。接收器处理器可用来提供对于组内所有接收器的负载均衡功能或者遇到接收器临时故障从一个接收器切换到另外一个接收器。

本节我们准备学习下述Flume接收器处理器：

  1. Default Sink Processor
  2. FailOver Sink Processor
  3. Load Balancing Sink Processor

二、Default Sink Processor

三、FailOver Sink Processor

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flume06：Flume高级组件：Source Interceptors、Channel Selectors、Sink Processors
weixin_40612128的博客
03-04 357
一、Flume高级组件 1、Source Interceptors Source可以指定一个或者多个拦截器按先后顺序依次对采集到的数据进行处理。 2、Channel Selectors Source发往多个Channel的策略设置，如果source后面接了多个channel，到底是给所有的channel都发，还是根据规则发送到不同channel，这些是由Channel Selectors来控制的 3、Sink Processors Sink 发送数据的策略设置，一个channel后面可以接多个sink，ch
Flume11：【案例】Sink Processors之 Failover Sink Processor 【故障转移】
weixin_40612128的博客
03-04 430
一、Failover Sink Processor 接下来我们来看一下故障转移 在这个图中，也是一个channel后面接了两个sink，但是这里和负载均衡架构不一样的是，这两个sink正常情况下只有一个干活，另一个是不干活的 来看一下Failover Sink Processor的文档介绍 看中间的参数解释 sinks：指定这个sink groups中有哪些sink，指定sink的名称，多个的话中间使用空格隔开即可 processor.type：针对故障转移的sink处理器，使用failover pro
flume的SinkProcessor
qq_43662627的博客
10-13 460
-----------------------hadoop01--agent1------------------ #a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔 a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 a1.sinkgroups = g1 a1.sinkgroups.g1.sinks = k1 k2 #a1.sinkgroups.g1.processor.type = failover #a1.sink
Flume (四) Sink Processors
WuTing的专栏
07-26 809
接收组（Sink groups）允许用户将多个接收器分组到一个实体中。 接收器处理器（Sink processors）可用于在组内的所有接收器上提供负载均衡功能，或在临时故障（temporal failure）的情况下实现从一个接收器到另一个接收器的故障转移。
Flume：3.输出模式处理器【sink-processor】
zeng255938的博客
08-25 436
Flume配置的三个“器”： 1.消息源拦截器【source-Interceptor】 2.通道选择器【source-selector】 3.输出模式处理器【sink-processor】（本文） #agent1 name agent1.channels = c1 agent1.sources = r1 agent1.sinks = k1 k2 ## ------------------...
Flume Sink Processors官网剖析（博主推荐）
weixin_34221332的博客
04-25 108
      不多说，直接上干货！   Flume Sources官网剖析(博主推荐） Flume Channels官网剖析(博主推荐） Flume Channel Selectors官网剖析(博主推荐） Flume Sinks官网剖析（博主推荐）             一切来源于flume官网 http://flume.apache.org/FlumeUser...
Flume学习_接收器
weixin_34216196的博客
11-11 290
2019独角兽企业重金招聘Python工程师标准>>> ...
【大数据学习 | flume】flume Sink Processors与拦截器Interceptor
最新发布
2301_80912559的博客
11-16 1255
比如：一个日志文件(多个系统的日志都在该文件中)，根据日志中某个字段值，比如type=1，是系统A日志，sink to hdfs；type=2，是系统B日志，sink to kafka，此时就可以使用Flume多路复用，通过event header 来决定传输到哪个Channel。拦截器可以将flume收集到的event进行拦截，并使用对应的拦截器，对event进行简单修改，过滤。故障转移处理器可以同时指定多个sink输出，按照优先级高低进行数据的分发，并具有故障转移能力。当前实现不允许同时指定多个标头。
Flume10：【案例】Sink Processors之 负载均衡：Load balancing Sink Processor
weixin_40612128的博客
03-04 777
一、Sink Processors 接下来看一下Sink处理器 Sink Processors类型包括这三种：Default Sink Processor、Load balancing Sink Processor和Failover Sink Processor DefaultSink Processor是默认的，不用配置sinkgroup，就是咱们现在使用的这种最普通的形式，一个channel后面接一个sink的形式。 Load balancing Sink Processor是负载均衡处理器，一个cha
flume配置选择器、处理器、拦截器详解
snail_bing的博客
09-05 2723
目录 一、Selector（选择器） Selector概述 复制模式 多路复用（路由）模式 二、Interceptors（拦截器） Interceptors概述 1、Timestamp Interceptor 2、Host Interceptor 3、Static Interceptor 4、UUID Interceptor 5、Search and Replace Inte...
Flume Processors
sunwenxu的博客
07-16 630
Processor概述 Processor是Flume用于实现失败恢复和负载均衡的组件。 在企业级开发中，通常有多个客户端Agent来收集数据，发送给中心服务器Agent，中心服务器Agent要承载若干客户端Agent发送的数据，负载较高，且中心服务器Agent如果只有一个，会造成单节点故障风险。 所以在企业级开发中，中心服务器Agent往往不止一个，由若干个协同工作，此时客户端Agent如何分...
Flume--Load Balancing Sink Processor
tianqinglei的博客
08-30 693
假设您有一个拓扑结构，其中第一层从数千个应用服务器接收数据，第二层在将数据推入HDFS之前通过Avro RPC从第一层接收数据。为简单起见，我们假设第一层有100个代理，第二层有4个。在最简单的拓扑中，每个第一层代理将有四个Avro Sinks将数据推送到每个二层代理。这样工作正常，直到其中一个二级代理失败。此时，配置为发送数据的接收端将不会发送任何数据，直到失败的二级代理重新联机。 除了这个接
Hadoop大数据技术原理与应用课后习题答案汇总
热门推荐
m0_46182119的博客
12-31 2万+
Hadoop大数据技术原理与应用
Flume 是怎么保障可靠性的？
Shockang的博客
06-26 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 通过唯一一个 Sink 作为接收器来接收后续需要的数据，有时候会出现当前 Sink 故障或者数据收集请求量较大的情况，这时候单一的 Sink 配置可能就无法保证 Flume 开发的可靠性。 为此， Flume 提供了 Flume Sink Processors ( FlumeSink 处理器)来解决上述问
Flume框架讲解、应用案例——日志采集
shuyv的博客
03-03 5027
文章目录Flume基础架构Agent（JVM进程）Source（数据采集器）Channel（缓冲通道）Sink（接收器）Event（事件） Flume基础架构 Flume基础架构图（简单结构）： Agent（JVM进程） Agent是一个JVM进程，它以事件的形式将数据从源头送至目的地。 Agent主要有3个核心组件组成：Source、Channel、Sink Source（数据采集器） 用于源数据的采集，然后将采集到的数据写入到Channel中并且流向Sink。Source是负责接收数据到Agen
Flume的可靠性保证：故障转移、负载均衡
hyunbar的博客
03-22 409
Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。 下面是官方配置： 从参数类型上可以看出有3种Processors类型：default, failover（故障转移）和 load_balance（负载均衡），当然，官网上说目前自定义...
Flume NG 学习笔记（七）Sink Processors（故障转移与负载均衡）测试
顾晓艳的专栏
10-29 8991
Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。 简单的说就是一个source 对应一个Sinkgroups，即多个sink,这里实际上与第六节的复用/复制情况差不多，只是这里考虑的是可靠性与性能，即故障转移与负载均衡的设置。 下面是官方配
Flume Sink组、Sink处理器
SmallCatBaby的博客
06-01 927
前言 Sink运行器（Sink Runner）运行一个Sink组（Sink Group），Sink组可以含有一个或多个Sink。如果组中只存在一个Sink，那么没有组将会更有效率。Sink运行器仅仅是一个询问Sink组（或Sink）来处理下一批事件的线程。每个Sink组有一个Sink处理器（Sink Processor），处理器选择组中的Sink之一去处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值