flume总结笔记

flume:Flume是开源日志系统。是一个分布式、可靠和高可用的海量日志聚合的系统，
支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，
并写到各种数据接受方（可定制）的能力。

Flume简介及架构

Flume是什么
Flume是流式日志采集工具，Flume提供对数据进行简单处理并且写到各种数据接受方（可定制）的能力，
Flume提供从本地文件（spooling directory source)、实时日志（taildir、exec)、REST消息、 
Thrift 、Avro、Syslog、Kafka等数据源上收集数据的能力。 、
Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景

Flume能干什么
提供从固定目录下采集日志信息到目的地（HDFS, HBase, Kafka)能力。
提供实时采集日志信息(taildir)到目的地的能力。
Flume支持级联（多个Flume对接起来），合并数据的能力。
Flume支持按照用户定制采集数据的能力。

Flume是收集、聚合事件流数据的分布式框架。
     
Flume架构 (1)

Flume基础架构：Flume可以单节点直接采集数据，主要应用于集群内数据。
Flume多agent架构：Flume可以将多个节点连接起来，将最初的数据源经过收集，存储到最终的存储系统中。
主要应用于集群外的数据导入到集群内。 
Flume多agent架构中可以将多个Flume级联起来，级联场景主要应用于收集FusionInsight集群外的节点上的