Flume基础知识

Flume简介

Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统

Flume支持在日志系统中定义各类数据发送方，用于收集数据

Flume提供对数据进行简单处理，并写到各种数据接收方的能力

Flume架构

Flume的核心

Agent是Flume的核心

1、Source组件：从数据源接收数据

2、Channel：连接Source和Sink的管道

3、Sink组件：传递数据给目的地

Flume传递的数据：Event（事件）

Flume的工作方式

多Agent流

可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统中。

（1）前面agent的sink、当前agent的source需要是avro类型

（2）sink指向source的主机名（或IP地址）和端口。

多Agent合流

日志收集中非常常见的情况是大量日志生成客户端将数据发送到少数存储子系统的代理上。

复用流

Flume支持将event流多路复用到一个或多个目的地。