Flume使用快速入门

1.Flume是什么

• Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统
• Flume支持在日志系统中定制各类数据发送方，用于收集数据；
• Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

2. Flume的框架

• Flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。

• Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成。
  每一个agent相当于一个数据传递员，内部有三个组件

• source

  • 采集组件，用于跟数据源对接，以获取数据

• channel

  • 传输通道组件，缓存数据，用于从source将数据传递到sink

• sink

  • 下沉组件，数据发送给最终存储系统或者下一级agent中

3