flume ng进击之路 （一）—— 入门

概述

Apache flume是一个用于从很多不同的数据源高效收集、聚合并传输大量日志数据到一个集中的数据存储的分布式、可靠且可用的系统。
flume不仅仅用于日志数据的聚合，由于数据源是可定制的，flume可用于传输大量event（事件）数据，包括但不限于网络传输数据，来自社会媒体的数据，Email和大量其他的数据源。
当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。
Flume-ng最明显的改动就是取消了集中管理配置的 Master 和 Zookeeper，变为一个纯粹的传输工具。Flume-ng另一个主要的不同点是读入数据和写出数据现在由不同的工作线程处理（称为 Runner）。 在 Flume-og 中，读入线程同样做写出工作（除了故障重试）。如果写出慢的话（不是完全失败），它将阻塞 Flume 接收数据的能力。这种异步的设计使读入线程可以顺畅的工作而无需关注下游的任何问题。
在我们的生产环境中，我们常用flume来收集服务的日志来聚合处理。

一些核心概念

概念	说明
Agent	使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。
Client	生产数据，运行在一个独立的线程。
Source