Flume架构中的三层设计

最新推荐文章于 2021-02-03 15:47:58 发布
最新推荐文章于 2021-02-03 15:47:58 发布
阅读量4.4k 收藏 4
点赞数 2
分类专栏： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43193797/article/details/86550120
版权

Flume采用了三层架构，分别为agent，collector和storage，每一层均可以水平扩展。其中，所有agent和collector由master统一管理，这使得系统容易监控和维护，且master允许有多个（使用ZooKeeper进行管理和负载均衡），这就避免了单点故障问题。


1）Agent层：这一层包含了Flume的Agent组件，与需要传输数据的数据源连接在一起

2）Collector：这一层通过多个收集器收集Agent层的数据，然后将这些转发到下一层

3）storage：这一层接收collector层的数据并存储起来

qq_43193797
关注
专栏目录
开放平台架构设计原理与实战：如何设计开放API
程序员光剑
11-01 426
开放平台（Open Platform）是指第三方合作伙伴提供服务的互联网应用或网络服务平台。作为一个平台，它与其他的基础设施和应用程序服务进行集成，并向用户提供基于开放协议的接口和服务，这些协议允许第三方访问、使用或者分享相关数据和资源。开放平台提供了一种“开放-包容-共赢”的服务模式，让更多的合作者参与到该平台中来，通过对平台的开放，可以释放更多的创新价值，并且也可以提升平台的整体竞争力。在互联网的蓬勃发展下，越来越多的企业希望拥有自己的平台，这就需要平台架构师对其中的设计和运营管理有更好的把握和理解。
【系统架构设计师】论文：论微服务架构及其应用
最新发布
数据知道的博客
09-02 2557
我公司承接某视频会议云直播项目。该项目主要为了解决视频会议系统对用户终端硬件要求过高、入会用户数量受限的问题，通过增加云直播的方式，将云直播与视频会议对接，以支持更多用户在电脑网页和手机端观看会议实况。我在项目中担任技术负责人，负责项目服务划分、架构设计和技术指导工作。本文结合我的亲身实践，论述了微服务架构在项目中的应用。在服务分层设计阶段，以客户需求为依据，对系统功能进行总体分层架构设计，各层各施其职。
Flume 概述架构及部署
C_FuL的博客
10-31 634
简介Flume是由 Cloudera 提供的一个分布式、高可靠、高可用的服务，用于分布式的海量日志的高效收集、聚合、移动系统。简单来说，Flume 就是一个针对日志数据进行采集和汇总的一个工具（把日志从A地方移动到B地方）Flume官网 Flume官方文档Flume 特点 可靠性：当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：
Flume日志收集分层架构应用实践
大数据技术杂谈
03-22 2495
Flume作为一个日志收集工具，非常轻量级，基于一个个Flume Agent，能够构建一个很复杂很强大的日志收集系统，它的灵活性和优势，主要体现在如下几点： 模块化设计：在其Flume Agent内部可以定义三种组件：Source、Channel、Sink 组合式设计：可以在Flume Agent中根据业务需要组合Source、Channel、Sink三种组件，构建相对复杂的日志流
flume架构总结
yanzhelee
07-19 1536
flume架构总结介绍flume之前先看一下Hadoop业务的整体流程开发： 从hadoop的业务流程图中可以看出，在大数据的业务逻辑处理过程中，对于数据的搜集是十分重要的一步，也是不可避免的一步，本文下面将对flume的架构进行详细的介绍。1.flume概念flume是一个分布式、可靠和高可用的海量日志聚合的系统，支持在系统中地址各类数据发送方，用于手机数据；同时，flume提供对数据进行简
Flume架构介绍
sandra_csdn的博客
06-20 807
Flume架构介绍
分布式日志收集系统Apache Flume的设计详细介绍
weixin_33851429的博客
08-28 69
问题导读： 1.Flume传输的数据的基本单位是是什么？ 2.Event是什么，流向是怎么样的？ 3.Source:完成对日志数据的收集，分成什么打入Channel中？ 4.Channel的作用是什么？ 5.取出Channel中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器，由谁来完成？ 6.Flume支那些数据格式？ 7.对于直接读取文件Source,有两...
Flume（简介，特点，架构，原理，组件，工作流程，拦截器，flume可靠性）
May_J_Oldhu的博客
02-03 3108
25.Flume 一.Flume简介 1.Flume是什么？ Apache Flume是一个分布式的，可靠性的，可用的数据收集系统，它可以有效地收集，聚合和移动大量的日志数据，这些数据可以从许多不同的来源转移到一个集中的数据存储中。 Apache Flume不仅仅限于日志数据集合。由于数据源是可定制的，所有Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎所有可能的数据源。 2.Flume特点 （1）可靠性 Flume的核心是把**数据从数据源收集过来，再送
项目1用户行为采集数仓架构之第一层flume
weixin_45425054的博客
01-24 510
这里解释下为什么不用taildir source 然后kafka channel 最后hdfs sink一步写入到hdfs中 因为如果这样只用一个flume，这个flume要运行在生成日志文件的服务器上，然后source再传给kafka集群上，这两个集群不一定在统一服务器上，最后sink再往hdfs传的时候，有需要把数据读回生成日志文件的服务器上，再往hdfs所在集群写，IO太高，十分麻烦，不采用 开始配置第一层flume的配置文件 数据通道-第一层flume- logserver->kafka: .
Flume架构
Zonzereal的博客
11-30 3183
1.1. 什么是Flume  flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行
Flume 构建高可用、可扩展的海量日志采集系统
12-21
《Flume：构建高可用、可扩展的海量日志采集系统》从Flume 的基本概念和设计原理开始讲解，分别介绍了不同种类的组件、如何配置组件、如何运行Flume Agent 等。同时，分别讨论Source、Channel 和Sink 三种核心组件，不仅仅阐述每个组件的基本概念，而且结合实际的编程案例，深入、全面地介绍每个组件的详细用法，并且这部分内容也是整个Flume 框架的重中之重。之后，讲解拦截器、Channel选择器、Sink 组和Sink 处理器等内容，它们为Flume 提供灵活的扩展支持。最后，介绍了Flume 的高级使用，如何使用Flume 软件开发工具集（SDK）和Embedded Agent API，如何设计、部署和监控Flume 生产集群。
吊打面试官之flume架构与运行机制
shyming's blog
10-07 351
flume架构与运行机制1.Flume的三层架构2.flume运行机制3.flume的事务 1.Flume的三层架构 Flume采用了三层架构，分别为agent，collector和storage，每一层均可以水平扩展。其中，所有agent和collector由master统一管理，这使得系统容易监控和维护，且master允许有多个（使用ZooKeeper进行管理和负载均衡），这就避免了单点故障问题。 1）Agent层：这一层包含了Flume的Agent组件，与需要传输数据的数据源连接在一起 2）Colle
Flume 架构及部署
harvey的博客
10-26 828
1.Flume概述 Flume是由 Cloudera 提供的一个分布式、高可靠、高可用的服务，用于分布式的海量日志的高效收集、聚合、移动系统。简单来说，Flume 就是一个针对日志数据进行采集和汇总的一个工具（把日志从A地方移动到B地方） Flume 官网：http://flume.apache.org/ Flume 官方文档：http://flume.apache.org/FlumeUse
Flume应用场景及架构原理
George的博客
12-10 418
Flume概念 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制[size=large]各类数据发送方[/size]，用于收集数据；同时，Flume提供对数据进行简单处理，并写到[size=large]各种数据接受方[/size]（可定制）的能力。 flume 特点： 1、可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flu...
Flume架构、Flume工作原理、Flume应用场景
zjh_746140129的博客
11-07 3572
一、Flume概述 Flume是由 Cloudera 提供的一个分布式、高可靠、高可用的服务，用于分布式的海量日志的高效收集、聚合、移动系统。简单来说，Flume 就是一个针对日志数据进行采集和汇总的一个工具（把日志从A地方移动到B地方） Flume 官网：http://flume.apache.org/  Flume 官方文档：http://flume.apache.org/FlumeUs...
实战剖析三层架构
swifty的专栏
07-16 403
Flume的体系结构介绍以及Flume入门案例(往HDFS上传数据)
重点在于记录
06-07 2103
# Flume的体系结构 对java有兴趣的朋友可以加上面说的553175249这个群哦，一起学习，共同进步 . # Flume介绍 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 #...
Flume原理及架构深入
qq_33265875的博客
12-14 296
1.说明：高可用，高可靠，分布式的海量日志采集，聚合和传输系统，Flume基于流式架构，灵活简单； 2.flume可监控文件夹日志以及端口传输的数据 3.flume进程名称：Application ...
Flume日志采集系统：架构与实战解析
Flume通过其三层架构——Agent、Collector和Storage实现扩展性和容错性。它提供了三种级别的可靠性保障，分别是end-to-end、StoreonFailure和BestEffort。系统中的每个Agent和Collector由Master统一管理，Master可以...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值