《大数据： Flume Agent 内部原理》

最新推荐文章于 2022-04-12 10:50:35 发布
最新推荐文章于 2022-04-12 10:50:35 发布
阅读量136 收藏
点赞数
分类专栏： 【 大数据：上篇 】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiangCSDN/article/details/109183890
版权
【 大数据：上篇 】 专栏收录该内容
107 篇文章 35 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细探讨了Flume Agent的内部原理，包括ChannelSelector的Replicating和Multiplexing两种类型，以及SinkProcessor的Default、LoadBalancing和Failover三种模式。ReplicatingSelector将Event复制到所有Channel，而Multiplexing则按规则选择特定Channel。SinkProcessor中，Default用于单个Sink，LoadBalancing实现负载均衡，Failover提供故障转移功能。Failover Sink Processor通过优先级列表确保至少一个Sink工作，而LoadBalancing Sink Processor则实现了Sink间的事件处理负载均衡。
摘要由CSDN通过智能技术生成

一、 Flume Agent 内部原理 

重要组件  【博主：HarkerYX】

1. ChannelSelector

  • ChannelSelector的作用就是选出Event将要被发往哪个Channel。其共有两种类型，分别是Replicating&
了解本专栏 订阅专栏 解锁全文
HarkerYX
关注
专栏目录
订阅专栏
《大数据： Flume 自定义Interceptor》
yexiangCSDN的专栏
10-22 125
一、Flume 自定义Interceptor （拦截器） 需求： 在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume拓扑结构中的Multiplexing结构，Multiplexing的原理是，根据event中Header的某个key的值，将不同的event发送到不同的Channel中，所以我们需要自定义一个Interceptor，为不同类型的event的Header中的key赋予不同的值 ：：演示案例简单一点，我们就写一个拦截器为
大数据-Flume知识点介绍
ziania_cumt的博客
04-16 373
Flume知识点介绍
Flume Agent 内部原理
Fys的博客
03-14 769
Source Source是Flume的数据来源，来源的类型多样化，可以是监听一个文件的变化、一个文件夹的变化，可以是接收JMS消息，或者是监听一个网络端口等。Source至少要连接一个Channel，但是Event写入Channel不是由Source来完成的，每个Source都有自己的Channel处理器，Source每次写Event到Channel时，都由Channel处理器来完成。 １、S...
Flume agent内部原理
qq_41253208的博客
06-09 662
Flume Agent 包含三个组件：Source,Channel,Sink Source： Source是从一些其他产生数据的应用中接收数据的活跃组件。有自己产生数据的Source Source 不过这些Source通常用于测试目的。Source可以监听一个或者多个网络端口，用于接收数据或者可以从本地文件系统读取数据。每个Source必须至少连接一个Channel。基于一些标准，一个Source...
Flume Agent 内部原理详解
小猿天地
05-10 396
Flume Agent 内部原理详解 一、过程 1、接收数据 2、处理事件 3、将事件传给拦截器链 4、将每个事件传递给 Cannel 选择器 Channel Selectors 有两种类型 : Replicating Channel Selector (default) 和 Multiplexing Channel Selector 。eplicating 会将source 过来的 events 发往所有 channel ,而 Multiplexing 可以配置发往哪些 Channel。 5、返回写
Flume Agent 内部原理概述
diavid的博客
01-20 1012
一.概述 Flume将数据表示为事件，事件是非常简单的数据结构，具有一个主体和一个报头集合，事件的主体是一个字节数组，通常是是Flume传送过来的负载，抱头被标记为一个map，其中有字符串key和字符串value。报头并不是用来传输数据的，只是为了路由和标记事件的优先级。报头也可以用来给事件增加ID或者UUID。 每个事件本质上必须是一个独立的记录，而不是记录的一部分，这也就要求每个事件要适应...
Flume8 Agent内部原理
Auraros的博客
11-23 293
Flume8 Agent内部原理 拦截器 拦截器是简单的插件式组件，设置在source和channel之间。source接收到的时间，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 flume内置了很多拦截器，并且会定期的添加一些拦截器，在这里列出一些flume内置的，经常使用的拦截器。 Timestamp Interceptor(时间戳拦截器) flume中一个最经常使用的拦截器 ，该拦截器的作用是将时间戳插入到flum
尚硅谷大数据技术之Flume
03-23
尚硅谷大数据技术之...1.4 Flume Agent内部原理 Flume Agent 的内部原理主要是通过事件驱动的方式来实现数据的采集、传输和存储。 2.1 Flume 安装 Flume 的安装可以通过官网下载和安装，或者通过包管理器来安装。
大数据技术之Flume.docx
03-27
Flume Agent内部原理包括Agent、Source、Channel和Sink四个组件。Agent是Flume数据传输的基本单元。Source是负责接收数据到Flume Agent的组件。Channel是位于Source和Sink之间的缓冲区。Sink不断地轮询Channel中的...
大数据技术之Flume教程
04-18
- **4.1 原理理解**: 深入理解Flume的工作原理，包括各个组件的具体作用及其交互过程。 - **4.2 实际应用**: 描述Flume在实际项目中的应用场景，如何根据需求选择合适的Source、Channel和Sink。 - **4.3 性能调优**:...
Flume Agent内部原理
mischen520的博客
07-03 94
重要组件： 1）ChannelSelector ChannelSelector的作用就是选出Event将要被发往哪个Channel。其共有两种类型，分别是Replicating（复制）和Multiplexing（多路复用）。 ReplicatingSelector会将同一个Event发往所有的Channel，Multiplexing会根据相应的原则，将不同的Event发往不同的Channel。 2）SinkProcessor SinkProcessor共有三种类型，分别是DefaultSink..
Flume的Agent
weixin_34129696的博客
04-29 99
      Flume的Agent 　　text(“filename”)：将文件filename作为数据源，按行发送 　　tail(“filename”)：探测filename新产生的数据，按行发送出去 　　fsyslogTcp(5140)：监听TCP的5140端口，并且接收到的数据发送出去 　　tailDir(“dirname”[, fileregex=".*"[, startFr...
Flume Agent 内部原理和事务
小哇
01-14 296
重要组件：1）ChannelSelector ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型， 分别是 Replicating（复制）和 Multiplexing（多路复用）。 ReplicatingSelector 会将同一个 Event 发往所有的 Channel，Multiplexing 会根据相 应的原则，将不同的 Event 发...
Flume学习之Agent（内部原理）心得
ljs_0的博客
04-12 1430
Flume Agent 内部原理
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HarkerYX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值