Flume学习笔记（一）Flume 组成架构

最新推荐文章于 2024-09-07 16:56:58 发布
最新推荐文章于 2024-09-07 16:56:58 发布
阅读量2.7k 收藏 6
点赞数 1
分类专栏： Flume 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/an_vana/article/details/107876618
版权
Flume是一个用于收集、聚合和传输大规模日志数据的高可用、高可靠系统。它包含Source、Channel和Sink三个核心组件。Source接收来自不同数据源的日志，如自定义或内置类型；Channel作为缓冲区在Source和Sink间提供数据安全性；Sink负责将数据写入目标，如HDFS或Kafka，支持多种预定义和自定义选项。Event是Flume的基本传输单元，包含Header和Body两部分。
摘要由CSDN通过智能技术生成

Flume学习笔记（一）Flume 组成架构

前言

​ 本文主要记录我在学习 Flume 过程中的一些知识的整理与记录，预计会做成一个系列来梳理一下 Flume 中的知识，本篇的主要内容为 Flume 的组成架构，文中如有疏漏与不足欢迎指正！

一、Flume 是什么

​ Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。其可以不断的监听数据源来将新产生的数据搬迁至目标，如将新产生的log 日志数据写入 HDFS。

二、Flume 组成架构

​ Flume 的组成架构图如下：

在这里插入图片描述

  1. Agent

    Agent 是一个 JVM 进程，其由三部分组成 Source，Channel，Sink。

    Agent 以事件（event）的方式将数据从源头送往目的地。

  2. Source

    Source 是负责接受数据至 Agent，Flume 本身自带了非常多的 Source，让其能够处理各种来源和各种格式的日志数据，当然用户也可以自定义 Source 来满足使用需求。

  3. Sink

    Sink 负责将数据写入目的地，其不断的轮询 Channel 中是

最低0.47元/天 解锁文章
薇安娜
关注
专栏目录
Flume笔记.zip
04-04
- Flume 的架构基于事件驱动，每个事件包含一个数据块和元数据。 2. **Flume 组件** - **源（Source）**：数据的生产者，负责从各种来源（如服务器日志、网络套接字、Kafka 等）接收数据。 - **通道（Channel）*...
Flume基本架构
帅成一匹马
01-27 1671
基于以上情况，假如你的目标是能够在2021年找到一份“给sponsorship”的年薪(总)不低于100k的SDE相关工作，那以下是我们给出的建议： 首先明确自己的算法能力，要深度掌握面试的必要算法，但不要盲目追求题量。刷题对于人的算法能力提升是显而易见的，但盲目追求数量而不去总结和归类一定是事半功倍。 ...
SQL增删改查基本语法整理
一条游向寒江的鱼
10-31 2457
创建数据库： create database dbname 删除数据库： drop database dbname 增：有两种方法 1.使用insert插入单行数据，无需指定要插入数据的列名，只需提供被插入的值即可 INSERT INTO table_name VALUES (value1,value2,value3,...) 2.使用insert,select语句将现有表中的 数据添加到已有的新表中，需要指定列名及被插入的值。 INSERT INTO table_name (column1,c
数仓工具之：Flume
最新发布
qq_62984376的博客
09-07 1057
处理数据样例：log='{"items":[},}'结果样例：首先， 既然是自定义拦截器，就需要使用java1） 创建maven项目，导入相关jar包--可以使用maven中的某些打包插件，不仅可以帮助我们打包代码还可以打包所依赖的jar包--><build><plugins><plugin>-- 禁止生成 dependency-reduced-pom.xml--><goals></goals>-- 解决包冲突 进行转换--><excludes><filters>
Flume系列：Flume组件架构
wester的博客
04-17 1061
Flume系列：Flume组件架构
Flume基本原理与架构（一）
RivenDong
09-29 1703
文章目录1. 前言2. Flume的特点2.1 事务性2.2 可靠性2.3 多层代理3. Flume架构4. Flume的主要组件4.1 Event、Client与Agent数据传输组件4.2 Source与Event的接收组件4.3 Channel与Event的传输组件4.4 Sink与Event的发送组件4.5 其它组件 1. 前言 Flume是Cloudera（Hadoop数据管理软件与服务...
Flume--图解架构
qq_46893497的博客
12-12 548
Flume的架构 总结 Multiplexing the flow 一个agent中有多个source、channel、sink Consolidation 多个agent合并 0、Flume使用 定义一个properties文件 在文件中定义：collect、aggregate、moving Flume的 一个程序叫做一个Agent 在properties文件中定义Agent 每个Agent都必须包含三大基础组件 1、Multiplexing the flow 特点：一个agent中
大数据技术之Flume笔记
04-17
这种架构使得Flume具有高可用性和可靠性，因为数据在被传输过程中会先被存储在Channels中，确保即使在Sink故障时，数据也不会丢失。 **二、Flume工作流程** 1. **Sources**: Flume支持多种类型的数据源，包括简单的...
Kafka最新完整学习笔记.pdf
08-17
3. Consumer Group（CG）：消费者组，由多个Consumer组成，一个partition只能由一个Consumer消费。 4. Broker：代表Kafka集群中的一个节点，负责处理来自生产者的生产请求和来自消费者的消费请求。 ***ic：表示一类...
学习kafa的笔记，可以看看目录选择下载
06-01
- **Consumer Group**：消费者可以组成组，消息可以广播给所有成员或仅发送给一个成员。 - **Topic**：数据的逻辑分类，类似数据库中的表。 - **Partition**：分区是topic的逻辑细分，每个分区在不同的服务器上...
spark学习笔记
11-02
本学习笔记集中介绍了Spark SQL在spark-shell中的操作方法，以及如何使用Spark进行数据清洗和转换成DataFrame的操作。 首先，Spark SQL是Spark用于处理结构化数据的一个组件，它提供了SQL接口，可以执行SQL查询。...
大数据技术之Flume（超级详细）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
12-02 2541
Flume 是 Apache Software Foundation（ASF）的一个项目，用于高可靠、可扩展的大数据日志收集、聚合和传输。它通常被用于将分布式的、大规模产生的数据从各种源头（如Web服务器、应用程序日志等）采集到数据存储和处理系统（如Hadoop）中。
flume架构总结
yanzhelee
07-19 1562
flume架构总结介绍flume之前先看一下Hadoop业务的整体流程开发： 从hadoop的业务流程图中可以看出，在大数据的业务逻辑处理过程中，对于数据的搜集是十分重要的一步，也是不可避免的一步，本文下面将对flume的架构进行详细的介绍。1.flume概念flume是一个分布式、可靠和高可用的海量日志聚合的系统，支持在系统中地址各类数据发送方，用于手机数据；同时，flume提供对数据进行简
Flume 架构+搭建
weixin_47243236的博客
11-19 1338
1. FIume 1.1 Flume 是什么 Flume是一种分布式的、可靠的、可用的服务（工具），可用于高效地从各种 Web 服务器收集、聚合和移动大量的日志数据复制到 HDFS。 它具有基于流数据流的简单而灵活的架构。它具有可调的可靠性机制和许多故障转移和恢复机制，具有健壮性和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。 1.2 Flume 架构 Event： Event（事件）是流经 Agent（代理）的一个数据单元，由 header 和 body 组成。 Agent： Flum
Flume
qq_41072814的博客
04-25 373
Flume Flume概述 ​ 定义：Flume是cloudera开发的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。 ​ 特点：Flume基于流式架构，简单灵活。 ​ 作用：实时读取服务器本地磁盘的数据，并将数据写入到HDFS中。当然Flume并非只能从磁盘读取数据或是将数据上传到HDFS中，Flume也可以从python爬虫数据平台抓取数据到HDFS或是Kafka中。 Flume基础架构 ​ Flume基础架构图 ​ 图一、Flume基础架构图 Agent ​
Flume架构介绍
sandra_csdn的博客
06-20 823
Flume架构介绍
pandas及numpy - 常用操作
围城
08-08 1255
20200808 - 这里主要记录一些关于pandas的基础操作，一些容易忘记，但偶尔会使用的操作。 操作列表 数据的读取 数据切片 数据的画图操作 字符串操作 修改数据 删除列（行） 数据显示不全（行） 根据规则修改列数据 将某列转换为时间索引 1. 数据的读取 如果有文件是已经按照分隔符分割好的，直接使用read_csv即可；几种特殊情况： 默认使用,作为分隔符，想修改的话在sep参数中指定； 默认第一行是列名，但如果没有的话，要指定(header = None,names = [‘a’,‘b’]
Flume架构以及应用介绍
热门推荐
什么最重要？算法！！
05-31 9万+
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 （一）Flume架构介绍 1、Flume的概念 flume是分布式的日志
一篇文章搞懂 Flume 的架构设计
Shockang的博客
06-26 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 Flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。 Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成。 一个 Agent 可从客户端或
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值