Flume-部署及使用案例

1、Flume 简介

1) Flume 提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务， Flume只能在Unix环境下运行。

2) Flume 基于流式架构，容错性强，也很灵活简单。

3) Flume、Kafka 用来实时进行数据收集，Spark、Storm 用来实时处理数据，impala 用来实 时查询。

2、Flume 角色

Flume的一些核心概念： 
（1）Events：一个数据单元，带有一个可选的消息头,可以是日志记录、avro 对象等。 
（2）Agent：JVM中一个独立的Flume进程，包含组件Source、Channel、Sink。 
（3）Client：运行于一个独立线程，用于生产数据并将其发送给Agent。 
（4）Source：用来消费传递到该组件的Event,从Client收集数据，传递给Channel。 
（5）Channel：中转Event的一个临时存储，保存Source组件传递过来的Event，其实就是连接 Source 和 Sink ，有点像一个消息队列。 
（6）Sink：从Channel收集数据，运行在一个独立线程。 
Flume以Agent为最小的独立运行单位，一个Agent就是一个JVM。单Agent由Source、Sink和Channel三大组件构成。

值得注意的是，Flume提供了大量内置的Source、Channel和Sink类型。不同类型的Source、Channel和Sink可以自由组合。组合方式基于用户设置的配置文件，非常灵活。比如：Channel可以把事件暂存在内存里，也可以持久化到本地硬盘上；Sink可以把日志写入HDFS、HBase、ES甚至是另外一个Source等等。Flume支持用户建立多级流，也就是说多个Agent可以协同工作，如下图：

Source、Channel、Sink有哪些类型：