Flume 1.7 源码分析（二）整体架构

最新推荐文章于 2023-04-16 20:55:46 发布
最新推荐文章于 2023-04-16 20:55:46 发布
阅读量4.1k 收藏 5
点赞数 2
分类专栏： Flume 大数据学习之路 Flume源码分析 文章标签： Flume 源码分析 整体架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lnho2015/article/details/58055919
版权
Flume的三大组件包括Source、Channel和Sink。Source作为数据来源，如Web Server日志，通过ExecSource监听并传递给Channel。Channel作为缓存队列，保证Source和Sink的读写速度匹配。Sink负责从Channel读取数据并存储到目标如HDFS或日志文件。启动时，SourceRunner和SinkRunner负责各自组件的运行，SourceRunner启动Source的监听和发送数据，SinkRunner循环调用Sink进行数据存储。
摘要由CSDN通过智能技术生成

Flume 1.7 源码分析（一）源码编译
Flume 1.7 源码分析（二）整体架构
Flume 1.7 源码分析（三）程序入口
Flume 1.7 源码分析（四）从Source写数据到Channel

3 整体架构

Flume有三大组件：Source、Channel、Sink。

Flume组件图

  • Source就是数据来源，例如Web Server产生日志后，可使用ExecSource执行tail -F命令后不断监听日志文件新生成的数据，然后传给Channel。
  • Channel就是一个缓存队列，由于读取数据和写入数据的速度可能不匹配，假如用同步完成的方式可能效率低下，
最低0.47元/天 解锁文章
Lnho
关注
专栏目录
Flume源码分析(Flume Source Code Analysis)
程序员光剑
08-31 1603
作者：禅与计算机程序设计艺术 1.简介 Apache Flume是一个开源、分布式、高可用的海量日志采集、聚合和传输系统。它最初起源于Yahoo！公司，由开发者在2007年创建，主要用于收集网站访问日志并将其传送到HDFS上。目前Flume已经成为Apache顶级项目，并已经成为大数据处理中必不可少的组
flume自定义source
程序员Monkey的专栏
07-03 7929
我们了解到了flume的底层实现原理之后，我们不仅可以根据flume自身提供的API，实现Source的定义，还可以根据项目的实际需求，编写我们自己的Source，比如Source可以是从网络上下载一个文件，亦或者是从数据库中查询数据，总之都能灵活实现我们自己的需求！ 一、新建java工程项目，在项目中添加flume的核心jar包： flume-ng-configuration-1.7.0.j
日志收集之flume-ng源码分析
热门推荐
hpttlook的专栏
04-01 1万+
Flume-ng 源码分析 简介     近期由于项目需要开发独特的flume-source，因此简单看了下flume的源码。Flume的架构还是比较简单，各个模块功能源码比较清晰。 源码目录结构          flume-ng-channels          里面包含了filechannel和jdbcchannel的实现；没有追过早期的flume代码，不过从这目录结构看来，m
flume源码分析
u013221557的博客
11-30 624
1、LifecycleAware  public interface LifecycleAware {    public void start();    public void stop();    public LifecycleState getLifecycleState();  }  所有核心组件，全都实现这个接口。通过start，stop启动关闭，通过LifecycleSta
Flume-NG启动过程源码分析（一）(原创)
weixin_30768661的博客
04-16 130
　　从bin/flume 这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类，这是flume的main函数所在。 　　main方法首先会先解析shell命令，如果指定的配置文件不存在就甩出异常。 　　根据命令中含有"no-reload-conf"参数，决定采用那种加载配置文件方式：一、没有此参数，会动态加载配置文件，默认每30秒加载...
Flume 1.7 源码分析（一）源码编译
Lnho的专栏
02-26 4797
1 说明Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，目前已经是Apache的一个子项目。Flume是一个专用工具被设计为旨在往HDFS、HBase发送数据。它对HDFS有特殊的优化，并且集成了Hadoop的安全特性。本文将详细分析Flume核心模块的源码实现。2 下载、编译2.1 源码检出Flume源码的git地址是：https://git-w
Flume 1.7 源码分析（三）程序入口
Lnho的专栏
02-27 4215
Flume 1.7 源码分析（一）源码编译 Flume 1.7 源码分析（二）整体架构 Flume 1.7 源码分析（三）程序入口 4 程序入口启动Flume的过程可以简单分为2个步骤： 1. 获取相关配置文件（一般来说就是flume-conf.properties）。 2. 启动各组件。不特别说明，本文中的组件是指实现了LifecycleAware接口的类的对象，一般就是
flume1.7.0源码
05-19
flume源码
Flume 1.7 源码分析（五）从Channel获取数据写入Sink
Lnho的专栏
03-04 3646
6 从Channel获取数据写入Sink6.1 Sink部分Sink部分主要分为以下3个步骤： 1. 由SinkRunner不断调用SinkProcessor的process方法。 2. 根据配置的SinkProcessor的不同，会使用不同的策略来选择sink。SinkProcessor有3种，默认是DefaultSinkProcessor。 3. 调用选择的sink的process
Flume 1.7 源码分析（四）从Source写数据到Channel
Lnho的专栏
03-01 4191
5 从Source写数据到Channel5.1 Source部分5.1.1 SourceRunnerSourceRunner就是专门用于运行Source的一个类。 在”物化配置”一节获取配置信息后，会根据Source去获取具体的SourceRunner，调用的是SourceRunner的forSource方法。public static SourceRunner forSource(Sour
16_Flume之源码分析
最新发布
weixin_40727028的博客
04-16 391
随后，这个轮询线程会通过 Guava 的 EventBus 机制通知 Application 类配置发生了更新，从而触发 Application#handleConfigurationEvent 方法，重新加载所有的组件。组件的start方法是在 MonitorRunnable 的run方法中调用的，MonitorRunnable 是一个线程，run方法中会获取当前组件的状态(默认STOP)以及预期的状态(START)，如果不相等则通过预期的状态执行相应的逻辑（ETCD直呼内行~~~）
flume【源码分析】分析Flume的拦截器
weixin_34023863的博客
12-29 174
flume-拦截器 　　有的时候希望通过Flume将读取的文件再细分存储，比如讲source的数据按照业务类型分开存储，具体一点比如类似：将source中web、wap、media等的内容分开存储；比如丢弃或修改一些数据。这时可以考虑使用拦截器Interceptor。 　　flume通过拦截器实现修改和丢弃事件的功能。拦截器通过定义类继承org.apache.flume.intercept...
flume源码阅读-总体介绍
Norman_Li的技术点滴
04-02 716
flume源码阅读之总体介绍 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume官网地址: Flume ， 源代码地址:source为什么读flume源代码 为什么要去读flume的源码，最近公司的
flume 1.8.0 源码简析
undergrowth的专栏
04-27 1583
flume 1.8.0 源码简析 概述 参考 https://www.jianshu.com/p/0187459831af https://blog.csdn.net/anjing900812/article/details/48999067 基础类----org.apache.flume.lifecycle.LifecycleAware----生命周期管理 代码流 ...
Flume 1.9.0 源码解析 : 一篇文章弄清Flume 程序启动流程
张伯毅的专栏
03-16 4624
一 .环境准备. 1.配置文件: example.conf # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure t...
Apache Flume 源码解析
loki的博客
01-04 975
第一步：源码下载 进入官网：http://flume.apache.org/index.html 进入下载页面： 点击下载：https://mirrors.bfsu.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-src.tar.gz 第二步：加压项目,导入IDE 解压到目录： 导入到IDE： 第三步：查看启动脚本，找到程序入口 查看目录：bin/flume-ng 找到启动类：org.apache.flume.no.
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值