一、Flume 定义
Flume 是 Cloudra 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构,灵活简单。
二、Flume 基础架构
2.1 简单的基础架构图
2.2 Flume 架构中的组件
1、Agent
Agent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的。
Agent 主要有 3 个部分组成:Source、Channel、Sink。
2、Source
Source 是负责接受数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据,包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。
3、Sink
Sink 不断地轮询 Channel 中的事件且批量地移除它们,并将这些事件批量写入到储存或索引系统、或者被发送到另一个 Flume Agent。
Sink 组件目的地包括:hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。
4、Channel
Chann