Flume原理图

已于 2022-07-05 10:14:43 修改
阅读量284 收藏
点赞数
文章标签： 大数据
于 2022-07-04 11:07:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lidengtai1226/article/details/125596068
版权

Flume内部原理图解

具体流程：

　　　　1）Source接收数据，交给Channel处理器进行处理event

　　　　2）处理器通过拦截器对event进行过滤清洗：比如时间拦截，分类等

　　　　3）经过拦截器处理的数据经过channel选择器，发往不同的channel；channel选择器有两种：一类Replicating Channel Selector，会将source中的event发往所有channel，能够冗余副本，提高可用性；Multiplexing Channel Selector：会根据event中header中的某个value将数据发到对应的channel

　　　　4）最后sink处理器处理每个channel中的事件

Taylor.Lee
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
flume架构图以及模板
莫慌 吃口药
10-06 310
模板： ================主要方式=================== a1.sources = r1 a1.channels = c1 c2 a1.sinks = s1 s2 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir =/root/my a1.sources.r1.selector.type=multipl...
flume的部分原理结构
First_____的博客
06-18 251
flume 事务 flume事务的具体工作流程: put事务: source 像channel 中推送事件时, 会有一个临时的缓冲区,如果推入事件出现异常失败,会回滚事务,数据回滚给putlist当中,再次进行尝试.推送成功会清楚putlist中缓冲的数据 Take事务: 缓冲区会从channel拉取事件,当拉取失败时,进行回滚,归还给channel. 拉取成功会删除掉channel缓冲区的数据 flume 工作原理解析图: flume 拓扑结构 ①. 简单串联: flume 的数量不易过多
Flume原理解析
搬砖的鱼的博客
05-20 220
Flume（一）Flume原理解析 </h1> <div class="clear"></div> <div class="postBody"> 阅读目录(Content)一、Flume简介二、Flume特点三、Flume的一些核心概念3.1、Agent结构　　3.2、source3.3、Channel3.4、Sink四、Flume拦截器、数据流以及可靠性4.1、F...
FLUME工作原理
ddbbff2005的博客
03-02 1008
简单的说，flume就是一个采集框架，程序员通过配置配置文件，即可实现从hdfs的集群采集其他地方的数据，例如：mysql、hbase、log、json等。
Flume的详细图解（Flume的概述）
LiuSong的博客
04-15 523
一、定义： （1）Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。它使用简单的可扩展数据模型，允许在线分析应用程序。 （ 2）Flume官网地址： http://flume.apache.org/ （3）文档查看地址： http://flume.apache...
SparkStreaming原理介绍
01-29
支持从多种数据源获取数据，包括 Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及 TCP sockets，从数据源获取数据之后，可以使用诸如 map、reduce、join 和 window 等 高级函数进行复杂算法的处理。最后还可以将处理...
Spark入门实战系列(上)-实时流计算SparkStreaming原理介绍
02-24
支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis以及TCPsockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到...
Hadoop硬实战 [（美）霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )
12-08
技术点1　使用Flume 将系统日志文件导入HDFS 2．2．2　导入导出半结构化和二进制文件 技术点2　自动复制文件到HDFS 的机制 技术点3　使用Oozie 定期执行数据导入活动 2．2．3　从数据库中拉数据 技术点4　使用...
大数据、云计算系统高级架构师课程学习路线图.pdf
06-21
本部分课程旨在帮助学员掌握 Sqoop、Flume、Oozie 的核心技术，涵盖了 Sqoop 的功能、使用原则、将 RDBMS 数据导入 Hive 表中、将 HDFS 上文件导出到 RDBMS 表中、Flume 的设计架构、原理、Flume 初步使用、实时采集...
2017最新大数据架构师精英课程
11-01
60_hadoop的架构原理图 61_临时文件 62_hadoop的简单介绍, p5 P$ @+ O2 V. p } 63_通过京东的流程讲解hadoop的处理过程; b1 Q* b- v& N, S4 G) j' Y 64_项目流程图 65_架构2 66_跑一个应用程序 67_hadoop的搭建的...
Flume基本原理与架构（一）
RivenDong
09-29 1649
文章目录1. 前言2. Flume的特点2.1 事务性2.2 可靠性2.3 多层代理3. Flume架构4. Flume的主要组件4.1 Event、Client与Agent数据传输组件4.2 Source与Event的接收组件4.3 Channel与Event的传输组件4.4 Sink与Event的发送组件4.5 其它组件 1. 前言 Flume是Cloudera（Hadoop数据管理软件与服务...
Flume工作原理详解
Peter_Changyb的博客
07-26 1万+
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件、socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。一般的采集需求，通过对flume的简单配置即可实现。Flume针对特殊场景也具备良好的自定义扩展能力，所以flume可以适用于大部分的日常数据采集场景。Flume的运行原理是：F...
Flume技术原理
曹世宏的博客
11-16 7610
Flume简介 Flume概述： Flume是开源日志系统。是一个分布式、可靠性和高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；同时，FLume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。 Flume是什么？ Flume是流式日志采集工具，FLume提供对数据进行简单处理并且写到各种数据接收方（可定制）的能力，Flume提供从本地文件（s...
apache flume架构与运行原理
david's Blog
09-25 7068
1.简介apache flume 是一种分布式的、可靠的、可用的系统，主要用于高效地收集、聚合和移动大量来自不同来源的日志数据到一个集中的数据存储区。 flume的使用不仅限于日志的数据聚合。由于数据源是可定制的，flume可以用于传输大量的事件数据，包括但不限于网络流量数据、数字媒体生志的数据。电子邮件消息和几乎任何可能的数据源。2.flume事件(event)flume的核心是把数据从数据源(
Flume安装及简单部署
阳光奶爸的博客
09-08 1万+
简要介绍Flume的工作原理、安装及部署。
Flume架构以及应用介绍
热门推荐
什么最重要？算法！！
05-31 9万+
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 （一）Flume架构介绍 1、Flume的概念 flume是分布式的日志
Flume架构、Flume工作原理、Flume应用场景
zjh_746140129的博客
11-07 3546
一、Flume概述 Flume是由 Cloudera 提供的一个分布式、高可靠、高可用的服务，用于分布式的海量日志的高效收集、聚合、移动系统。简单来说，Flume 就是一个针对日志数据进行采集和汇总的一个工具（把日志从A地方移动到B地方） Flume 官网：http://flume.apache.org/  Flume 官方文档：http://flume.apache.org/FlumeUs...
1.Apache Flume 简介
sun
06-05 1704
一.简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 image.png 二.主要功能 1.日志收集 Flume最早是Cloudera提供的日志收集系统，目前是Apac
Flume-原理详解+参数详解+案例演示
weixin_42151880的博客
08-17 884
What Flume？ Flume 简介： Flume用于将多种来源的日志以流的方式传输至Hadoop或者其它目的地（一种可靠、可用的高效分布式数据收集服务） Flume拥有基于数据流上的简单灵活架构，支持容错、故障转移与恢复 批处理：处理离线数据，冷数据。单个处理数据量大，处理速度比流慢。 流处理：在线，实时产生的数据。单次处理的数据量小，但处理速度更快。 Flume 架构： Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)，为了保证传输过程一定成
apache flume原理
最新发布
03-21
它的工作原理是通过多个组件构成的数据流管道，从数据源头收集数据并将其传输到目标存储库。Flume的核心组件包括Source、Channel和Sink，其中Source用于收集数据，Channel用于存储数据，Sink用于将数据传输到目标...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值