Flume 使用学习小结

概述

  在做埋点数据离线存储到odps中，用到了Flume。一边使用，一边学习了下Flume。其中感受到Flume确实易伸缩、易扩展。其中的组件都可以根据自己的业务特点方便的自定义使用。

Flume可进行大量日志数据采集、聚合和并转移到存储中，并提供数据在流转中的事务机制；
可适用场景：日志—>Flume—>实时计算（如MQ+Storm） 、日志—>Flume—>离线计算（如ODPS、HDFS、HBase）、日志—>Flume—>ElasticSearch等。

Flume架构

  Flume主要分为 Source、Channel、Sink三个组件，他们包含在一个Agent中，一个Agent相当于一个独立的application。数据从源头经过Agent的这几个组件最后到达目的地。一个Flume 服务可同时运行多个Agent，大致架构可参照下图：

对照这个图，作一些说明；
- Event 一条日志数据在Flume中对应一个Event对象。不过给他添加了header属性，就是一个Map，放 一些额外信息，可以针对每条Event做特殊处理，比如Channel的选择。这些额外的键值对可以在Event从Source到Channel之间的interceptor（拦截器）中set。
- Source 负责日志流入，比如从文件、网络、MQ等数据源流入数据。
-