Flume 1.7 源码分析（二）整体架构

最新推荐文章于 2023-04-16 20:55:46 发布
VIP文章 最新推荐文章于 2023-04-16 20:55:46 发布
阅读量4.1k 收藏 5
点赞数 2
分类专栏： Flume 大数据学习之路 Flume源码分析 文章标签： Flume 源码分析 整体架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lnho2015/article/details/58055919
版权

Flume 1.7 源码分析（一）源码编译
Flume 1.7 源码分析（二）整体架构
Flume 1.7 源码分析（三）程序入口
Flume 1.7 源码分析（四）从Source写数据到Channel

3 整体架构

Flume有三大组件：Source、Channel、Sink。

Flume组件图

  • Source就是数据来源，例如Web Server产生日志后，可使用ExecSource执行tail -F命令后不断监听日志文件新生成的数据，然后传给Channel。
  • Channel就是一个缓存队列，由于读取数据和写入数据的速度可能不匹配，假如用同步完成的方式可能效率低下，
最低0.47元/天 解锁文章
Lnho
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
flume1.7.0源码
05-19
flume源码
Flume 1.7 源码分析（一）源码编译
Lnho的专栏
02-26 4709
1 说明Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，目前已经是Apache的一个子项目。Flume是一个专用工具被设计为旨在往HDFS、HBase发送数据。它对HDFS有特殊的优化，并且集成了Hadoop的安全特性。本文将详细分析Flume核心模块的源码实现。2 下载、编译2.1 源码检出Flume源码的git地址是：https://git-w
16_Flume之源码分析
weixin_40727028的博客
04-16 324
随后，这个轮询线程会通过 Guava 的 EventBus 机制通知 Application 类配置发生了更新，从而触发 Application#handleConfigurationEvent 方法，重新加载所有的组件。组件的start方法是在 MonitorRunnable 的run方法中调用的，MonitorRunnable 是一个线程，run方法中会获取当前组件的状态(默认STOP)以及预期的状态(START)，如果不相等则通过预期的状态执行相应的逻辑（ETCD直呼内行~~~）
Apache Flume 源码解析
loki的博客
01-04 921
第一步：源码下载 进入官网：http://flume.apache.org/index.html 进入下载页面： 点击下载：https://mirrors.bfsu.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-src.tar.gz 第二步：加压项目,导入IDE 解压到目录： 导入到IDE： 第三步：查看启动脚本，找到程序入口 查看目录：bin/flume-ng 找到启动类：org.apache.flume.no.
flume执行流程及源码解读
weixin_40809627的博客
12-30 840
1、flume 指定配置文件启动 bin/flume-ng agent -c conf -f conf/LogDetailExpose4KafkaFlume.conf -n aApacheFlume --classpath /home/dmpflume-jar-with-dependencies.jar -Dflume.root.logger=INFO,console #注意：因为需要指定自己实现...
Apache Flume 1.9.0源码分析 之 设计思路（一）
weixin_44417529的博客
09-15 813
Source、Channel、Sink三个interface的设计思想
flume源码分析
亚瑟的守护的专栏
10-08 2531
1、LifecycleAware public interface LifecycleAware {    public void start();    public void stop();    public LifecycleState getLifecycleState();  } 所有核心组件，全都实现这个接口。通过start，stop启动关闭，通过
（二）数据采集——Flume
点滴记录IT技术进程
12-22 889
文章目录一、Flume概述1. 引言2. 数据源二、Flume架构1. 架构图2. 组件及其功能3. Flume运行流程4. Flume核心组件SourceChannelSink三、Flume安装1. 运行环境2. 安装步骤四、Flume使用入门1. 配置文件2. 启动Flume五、Flume和log4j集成1. 依赖2. 配置日志文件3. 配置flume配置文件4. 启动运行5. 查看结果六、多...
Flume 1.9.0 源码解析 : 一篇文章弄清Flume 程序启动流程
张伯毅的专栏
03-16 4547
一 .环境准备. 1.配置文件: example.conf # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure t...
Flume常见的模式及高可用集群搭建
onway_goahead的博客
12-02 1094
Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。并且它拥有非常丰富的组件。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，三者组建了一个Agent。三者...
flume通过thrift协议收集日志-Python
10-09
flume通过thrift协议收集日志-Python。博客地址：http://blog.csdn.net/wangshuwei5/article/details/48902757
windows下flume1.7使用文档
05-15
在windows端使用flume1.7同步上传数据到hdfs的说明
flume1.7的taildir支持windows.rar
06-10
flume1.7的taildir支持windows,flume1.7的taildir支持windows
flume 1.7 user guide.docx
07-12
flume user guide
【Flume】（二）Flume 定义和基础架构
01-20
文章目录一、Flume 定义二、Flume 基础架构 一、Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 为什么选用 Flume ? 二、...
Presto常用语句整理
热门推荐
Lnho的专栏
05-16 7万+
查询从0或多个表获取数据行[ WITH with_query [, ...] ] SELECT [ ALL | DISTINCT ] select_expr [, ...] [ FROM from_item [, ...] ] [ WHERE condition ] [ GROUP BY expression [, ...] ] [ HAVING condition] [ UNION [ ALL |
Kafka使用Java客户端进行访问
Lnho的专栏
05-09 3万+
本文环境如下： 操作系统：CentOS 6 32位 JDK版本：1.8.0_77 32位 Kafka版本：0.9.0.1(Scala 2.11) 1. maven依赖包<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version
Kafka单机、集群模式安装详解(一)
Lnho的专栏
05-09 2万+
本文环境如下： 操作系统：CentOS 6 32位 JDK版本：1.8.0_77 32位 Kafka版本：0.9.0.1(Scala 2.11) 1. 所需要的环境Kafka需要以下运行环境： Java 安装参考CentOS 6使用rpm方式安装JDK8 Zookeeper 安装参考：CentOS下ZooKeeper单机模式、集群模式安装2. 下载、解压Kafka安装包Ka
YARN体系学习笔记
Lnho的专栏
05-20 1万+
一、基本组成结构1. ResourceManager负责对各个NodeManager 上的资源进行统一管理和调度。包含两个组件： * Scheduler：调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序 * Applications Manager：应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调
简述Flume组成架构
最新发布
06-10
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统，其组成架构主要包括三个组件：Source、Channel和Sink。 1. Source Source是Flume的数据源组件，负责数据的输入和采集，可以从各种数据源采集数据，如Web服务器、日志文件、文件系统等。Flume提供了多种类型的Source，如Avro Source、Exec Source、HTTP Source、Spooling Directory Source等。 2. Channel Channel是Flume的缓存组件，负责数据的缓存和存储。Flume的Channel是基于内存或者磁盘的缓存，可以支持队列、链表、文件等多种类型的Channel。Channel可以在Source和Sink之间进行数据传输，保证了数据在不同组件之间的可靠传输。 3. Sink Sink是Flume的目标存储组件，负责数据的输出和传输，可以将采集到的数据传输到各种目标存储系统，如Hadoop HDFS、HBase、Kafka等。Flume提供了多种类型的Sink，如HDFS Sink、HBase Sink、Kafka Sink等。 Flume的组成架构是可扩展和可配置的，可以通过配置不同类型的Source、Channel和Sink来满足不同项目的需求。同时，Flume还支持分布式部署，可以在多台机器上部署Flume Agent，实现数据的分布式采集和传输。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值