Flume从入门到上手

第 1 章 Flume 概述 

      1.1 Flume 定义 :

Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。

 

1.2 Flume架构

 

1.2.1 Agent 
        Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 
        Agent 主要有 3 个部分组成，Source、Channel、Sink。 
1.2.2 Source 
       Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种
       格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence 
       generator、syslog、http、legacy。 
1.2.3 Sink 
        Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储
        或索引系统、或者被发送到另一个 Flume Agent。Sink 组件目的地包括 hdfs、logger、avro、thrift、ipc、file、HBase、  solr、自定义。 
1.2.4 Channel 
         Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运