1.Flume是什么
- Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统
- Flume支持在日志系统中定制各类数据发送方,用于收集数据;
- Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
2. Flume的框架
-
Flume 的核心是把数据从数据源收集过来,再送到目的地。为了保证输送一定成功,在送到目的地之前,会先缓存数据,待数据真正到达目的地后,删除自己缓存的数据。
-
Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成。
每一个agent相当于一个数据传递员,内部有三个组件 -
source
- 采集组件,用于跟数据源对接,以获取数据
-
channel
- 传输通道组件,缓存数据,用于从source将数据传递到sink
-
sink
- 下沉组件,数据发送给最终存储系统或者下一级agent中
3