Flume

一、Flume定义

Flume一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 

Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。

二、Flume基础架构

Agent是一个JVM进程，它以事件的形式将数据从源头送至目的地。

Agent主要有3个部分组成，Source、Channel、Sink。

Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据。

Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。Flume自带两种Channel：Memory Channel和File Channel。Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。

File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。

 event是传输单元，Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。Event由Header和Body两部分组成，Header用来存放该event的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组。

三、Flume安装部署

1.安装地址

（1）Flume官网地址：Welcome to Apache Flume — Apache Flume

（2）文档查看地址：Flume 1.11.0 User Guide — Apache Flume

（3）下载地址：http://archive.apache.org/dist/flume/

2.安装部署

（1）将apache-flume-1.10.1-bin.tar.gz上传到linux的/opt/software目录下

（2）解压apache-flume-1.10.1-bin.tar.gz到/opt/module/目录下

[wy@hadoop102 software]$ tar -zxvf /opt/software/apache-flume-1.10.1-bin.tar.gz -C /opt/module/

（3）修改apache-flume-1.10.1-bin的名称为flume

[wy@hadoop102 module]$ mv /opt/module/apache-flume-1.10.1-bin /opt/module/flume

（4）修改conf下的log4j2.xml确定日志打印的位置,在53行后插入

53       <AppenderRef ref="LogFile" />

54       <AppenderRef ref="Console" />

 四、flume面试大保健

大数据面试题总结（自用）_艾卡西亚暴雨o的博客-CSDN博客