Flume9 拓扑结构

最新推荐文章于 2022-04-11 20:24:03 发布
最新推荐文章于 2022-04-11 20:24:03 发布
阅读量202 收藏
点赞数
分类专栏： # Flume 文章标签： java 数据库 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43634001/article/details/110443540
版权

Flume9 拓扑结构

简单串联

在这里插入图片描述

这种模式是将多个Flume顺序连接了起来，从最初source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的Flume数量，Flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点Flume宕机，会影响整个传输系统。

复制和多路复用

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DaLw5nGX-1606818878117)(C:\Users\Auraros\AppData\Roaming\Typora\typora-user-images\image-20201121220343315.png)]

Flume 支持将事件流向一个或多个目的地，这种模式可以将相同数据复制到多个channel中，或者将不同数据分发到不同的channel中，sink可以选择传送到不同的目的地。

负载均衡和故障转移

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9v7zgqup-1606818878118)(C:\Users\Auraros\AppData\Roaming\Typora\typora-user-images\image-20201121220552651.png)]

Flume支持使用将多个sink逻辑分到一个sink组，sink组配合不同的SinkProcessor可以实现负载均衡和错误恢复的功能。

聚合

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hfPSdibz-1606818878121)(C:\Users\Auraros\AppData\Roaming\Typora\typora-user-images\image-20201121221228083.png)]

Auraros
关注
专栏目录
Flume系列：Flume通道拓扑结构
wester的博客
05-26 1272
系统环境：centos7Java环境：Java8。
Flume系列：案例-Flume 聚合拓扑(常见的日志收集结构)
最新发布
wester的博客
05-28 997
系统环境：centos7Java环境：Java8案例只演示通道流程，其中Source，channel，Sink的种类按需调整。
【Flume】（三）Flume 事务、拓扑结构和Flume Agent 内部原理
01-07
文章目录一、Flume 事务二、Flume Agent 内部原理三、Flume 拓扑结构1、简单串联2、复制和多路复用3、负载均衡和故障转移4、聚合 一、Flume 事务 二、Flume Agent 内部原理 重要组件： 1）ChannelSelector ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，分别是 Replicating（复制）和 Multiplexing（多路复用）。 ReplicatingSelector 会将同一个 Event 发往所有的 Channel，Multiplexing 会根据相应的原则，将不同的 E
Flume的拓扑结构
sing02的博客
11-05 760
环境准备: 1.安装flume 下载地址 http://archive.apache.org/dist/flume/ 上传到linux并解压jar包 tar -zxf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/ 修改apache-flume-1.9.0-bin的名称为flume mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume 解决jar包冲突:删除
Flume 拓扑结构
weixin_47243236的博客
11-22 668
1. Agent 实现原理 1.1 Flume 流式处理 推送事件（Put） duPut：将此数据写入临时缓冲区putList doCommit：检查channel 内存队列是否足够合并 doRollBack：当 channel 内存队列空间不足，回滚数据 拉取事件（Take） doTake：将数据取到临时缓冲区 takeList doCommit：如果数据全部发送成功，则清除临时缓冲区 takeList doRollback：数据发送过程中如果出现异常，rollback 将临时缓冲区 takeList
Flume拓扑结构
Markble
08-02 1555
1、 简单串联 这种模式是将多个flume顺序连接起来了，从最初的source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的flume数量， flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点flume宕机，会影响整个传输系统。 两个channel提高传输效率、增加容错性。 2、 复制和多路复用 Flume支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个channel中，或者将不同数据分发到不同的channel中，sink可以选择传送到不同的目的地。
尚硅谷大数据技术之Flume
03-23
Flume 的拓扑结构可以是单个 Agent、多个 Agent、负载均衡、聚合等形式。 1.4 Flume Agent内部原理 Flume Agent 的内部原理主要是通过事件驱动的方式来实现数据的采集、传输和存储。 2.1 Flume 安装 Flume 的...
Flume基础【事务、Agent内部原理、拓扑结构、几个案例的配置文件】
weixin_43923463的博客
04-11 476
文章目录一 Flume事务二 Flume Agent内部原理三 Flume拓扑结构1 简单串联2 复制和多路复用3 负载均衡和故障转移4 聚合四 案例1 拦截器2 串联3 复制和多路复用4 负载均衡和故障转移（1）故障转移（2）负载均衡 一 Flume事务 事务的作用：把多个操作绑定到一起，使得这些操作要么一起成功，要么一起失败。 Flume事务的作用：保证数据不会丢失。 二 Flume Agent内部原理 三 Flume拓扑结构 1 简单串联 2 复制和多路复用 3 负载均衡和故障转移 4
Flume之拓扑结构
weixin_43520450的博客
08-10 192
一、简单串联 这种模式是将多个 flume 顺序连接起来了，从最初的 source 开始到最终 sink 传送的目的存储系统。此模式不建议桥接过多的 flume 数量，flume 数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个传输系统。 二、复制和多路复用 Flume 支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个channel 中，或者将不同数据分发到不同的 channel 中，sink 可以选择传送到不同的目的地。 三、负载均衡和故障转移
Flume系列4-Flume拓扑结构
只是甲的博客
12-25 265
文章目录一. 简单串联二. 复制和多路复用三. 负载均衡和故障转移四. 聚合 一. 简单串联   这种模式是将多个 flume 顺序连接起来了，从最初的 source 开始到最终 sink 传送的目的存储系统。此模式不建议桥接过多的 flume 数量， flume 数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个传输系统。 二. 复制和多路复用   Flume 支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个channel 中，或者将不同数据分发到不
Flume 事务概述
zhaoxiaoba123的博客
10-04 214
Flume 事务 Flume Agent 内部原理 重要组件: 1、ChannelSelector ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型， 分别是 Replicating(复制)和 Multiplexing(多路复用)。 ReplicatingSelector 会将同一个 Event 发往所有的 Channel，Multiplexing 会根据相 应的原则，将不同的 Event 发往不同的 Channel。 2、SinkProcess
Flume拓扑结构之--------Channel多副本模式结合Avro
张鑫的博客
08-03 504
一、需求 使用flume-1监控文件变动，flume-1将变动内容传递给flume-2，flume-2负责存储到HDFS。同时flume-1将变动内容传递给flume-3，flume-3负责输出到local filesystem。看此图基本上就能写出来配置文件，在结合官方文档 配置1个接收日志文件的source和两个channel、两个sink，分别输送给flume-flume-hdf...
Flume常用拓扑结构
不能如期而至的专栏
09-29 563
文章目录多个Flume串联多个Flume聚合复制和多路复用负载均衡和故障转移 Flume 支持下面几种方式读取日志流数据： Avro Thrift Syslog Netcat Avro source和Avro sink 对Flume灵活的拓扑结构至关重要。 Avro source ： 可以接受Avro Client 发送的 事件，或者Avro sink发送的事件。 Avro Source被设计为高扩展的RPC服务器端，能从其他的Flume Agent的Avro Sink或者使用Flume的SDK发
flume拓扑结构之故障转移和负载均衡
mo
07-04 620
关于故障转移：Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。 我们去官网看一下Failover Sink Processor（故障转移） FailoverSink Processor会通过配置维护了一个优先级列表。保证每一个有效的事件都会被处理。 故障转移的工作原理是将连续失败的sink分配到一个失败的消息队列中这个sink不会做任何事。假如在一个A
全面系统完整的Flume教程
04-21
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。是大数据大数据开发工程师必须会的框架之一。在本课程中，你将学习到，Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的运用。购买后资料问题请加老师QQ  2020363447
Flume拓扑结构之---------负载均衡模式
张鑫的博客
08-03 1724
一、案例需求 使用flume-1监控文件变动，flume-1将变动内容传递给flume-2，flume-2负责将数据打印到控制台。同时flume-1将变动内容传递给flume-3，flume-3也负责将数据打印到控制台 二、配置文件 配置1个接收日志文件的source和1个channel、两个sink，分别输送给flume-flume1和flume-flume2。 1、一个chan...
Flume基础与事件原理详解
文档强调Flume在日志数据收集中的作用，尤其对于非结构化数据的处理。文档指出Flume不能传输图片，但能处理文本文件。此外，文档还提到了Flume与Sqoop的区别，后者主要用于结构化数据的全量导入。" Flume是Cloudera...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值