对于flume架构的简述

flume的概念：

flume是cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。

flume的功能：

1、日志收集

2、数据处理

flume的数据流由事件（event）贯穿始终。

--事件是flume的基本数据单位。这些事件由agent外部的source生成，当source捕获时间后进行特定的格式化，然后source会把事件推入（单个或多个）

channel（通道）中。

--可以把channel看成一个缓冲区，他将保存事件直到sink（水槽）处理完该事件。

--sink负责持久化日志或者把事件推向另一个source（源）。

flume提供了三种级别的可靠性保障，从强到弱分别为：

--end-to-end  收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。

--store on failure  这也是scribe（抄写员）采用的策略，当数据接收方crash（碰撞）时，将数据写到本地，待恢复后，继续发送

--besteffort  数据发送到接收方后，不会进行确认

可恢复性：

可恢复性依赖channel

推荐使用filechannel，事件持久化在本地文件系统里（性能较差）