Flume - 初识

原创 2018年04月17日 19:11:30

Flume - 初识


一、基本架构

Flume-NG 采用三层架构设计:收集(Source)、暂存(channel)和处理(Sink)。
flume架构.png-107.7kB

一个event在一个agent中传输的顺序为:

Source -> Interceptor -> Selector -> Channel -> Sink Processor -> Sink -> 中心存储/下一级agent

二、核心概念

  1. Event: 一条消息或者说是一条数据,具有可选头信息,在头信息中可以设置时间戳、主机名称等信息。
  2. Source: 数据源,接收或者收集不同形式的数据源。
  3. Channel: event的临时缓冲区,source先将event发送到chanel缓存等待sink消费。
  4. Sink: 从channel获取event并发送到中心存储或者下一级agent。
  5. Agent: 包含source、channel、sink等组件的flume进程。
  6. Interceptor: event拦截器,根据配置文件在event的header中添加时间戳、主机名称等信息。
  7. Selector: event选择器,event选择流入channel的方式,flume提供了复制(replicating)和复用(multiplexing)选择器。
  8. Sink Processor: event sink处理器,flume提供了故障转移处理器和负载均衡处理器。

三、组件简介

3.1 Source

Source用于对接各种数据源,将收集到的事件发送到临时存储Channel中。

常用的source类型有:Avro Source、Exec Source、Kafka Source、Taildir Source、Spooling Directory Source等

3.2 Channel

Channel被设计为Event中转临时缓冲区,存储Source收集并且没有被Sink读取的Event,为平衡Source收集和Sink读取数据的速度,可视为Flume内部的消息队列。Channel线程安全并且具有事务性,支持source写失败重复写和sink读失败重复读等操作。

常用的Channel类型有Memory Channel、File Channel、Kafka Channel等。

3.3 Sink

常用的类型为 Avro Sink、HDFS Sink、Kafka Sink

四、配置别名

flume配置别名.png-18.9kB

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011669700/article/details/79979231

Flume 初识

Flume是什么?它是怎么产生的?优缺点? Flume是一个分布式、可靠的、高可用的系统,用于收集、聚合和移动来自多个不同数据源的大量日志数据到一个集中存储中。...
  • qiruiduni
  • qiruiduni
  • 2015-10-23 17:40:03
  • 263

初识flume

1.它是什么东西 2.它能干些什么 3.flume-og和flume-ng的区别是什么 4.实际例子 1.引用官方语言 它是个什么东西 Flume是Cloudera提供的一个高可用的,高可靠的,...
  • UnknownZYB
  • UnknownZYB
  • 2015-11-17 23:15:58
  • 214

初识Flume

一、flume简介 Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种storage。Fl...
  • mawming
  • mawming
  • 2016-09-01 08:50:47
  • 235

Flume学习笔记之初识(二)

前言:今天开始每天抽两个小时研究Flume,从初步使用到深入的源代码探究,以期通过这个开源项目深入的学习Java。目标是2016年内熟悉整个Flume项目,能做插件的开发三、flume数据流 一个s...
  • xuxiuning
  • xuxiuning
  • 2016-09-28 10:12:19
  • 287

Flume学习笔记之初识(一)

前言:今天开始每天抽两个小时研究Flume,从初步使用到深入的源代码探究,以期通过这个开源项目深入的学习java。目标是2016年内熟悉整个Flume项目,能做插件的开发。一、 基本概念引入: Fl...
  • xuxiuning
  • xuxiuning
  • 2016-09-27 10:08:08
  • 259

Apache Flume初识

Apache flume是一个分布式的,可靠的,高可用的系统,能够有效地收集、汇总和移动大量的从许多不同的来源日志数据,并集中式存储数据。 1)它是FlumeOG的重构版本,apache来开发管理。 ...
  • chrischen214
  • chrischen214
  • 2014-01-16 15:33:46
  • 998

flume 入门初识

1. 介绍Flume 是 Cloudera 提供的日志收集系统,具有分布式、高可靠、 高可用性等特点,对海量日志采集、聚合和传输,Flume 支持在日志 系统中定制各类数据发送方,同时,Flume 提...
  • u012373815
  • u012373815
  • 2016-10-30 00:09:40
  • 570

Flume学习笔记之初识(三)

前言:今天开始每天抽两个小时研究Flume,从初步使用到深入的源代码探究,以期通过这个开源项目深入的学习Java。目标是2016年内熟悉整个Flume项目,能做插件的开发 (续上) 5 SinkP...
  • xuxiuning
  • xuxiuning
  • 2016-09-29 16:10:48
  • 316

初识SAP的ERP

刚开始接触SAP,记录个人的学习成长。 ERP(Enterprise Resource Planning)     ERP是建立在现代企业先进管理思想基础之上,利用信息技术为企业提供决策、计划、控...
  • leavingchen
  • leavingchen
  • 2015-12-24 09:53:12
  • 418

初识人工智能

人工智能,之所以冠以“”人工“,最主要是因为其模仿人类的思维过程所产生的。而“”智能“”,怎样才算智能呢?前一阵子比较火的智能家居,最主要的形式是通过各种手机APP 或者终端远程控制各种家电开关,这种...
  • oangeli
  • oangeli
  • 2017-01-18 23:35:15
  • 394
收藏助手
不良信息举报
您举报文章:Flume - 初识
举报原因:
原因补充:

(最多只允许输入30个字)