Flume安装部署

实验原理

Flume是Cloudera公司的一款高性能、高可用的分布式日志收集系统。

Flume的核心是把数据从数据源收集过来再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，再删除缓存的数据。

Flume传输数据的基本单位是event，如果是文本文件，通常是一行记录，这也是事务的基本单位。

Flume运行的核心是Agent。它是一个完整的数据收集工具，含有三个核心组件，分别是Source、Channel、Sink。

1. Source组件是专门用于收集日志的，可以处理各种类型各种格式的日志数据，包括Avro、Thrift、Exec、Jms、Spooling directory、Netcat、Sequence Generator、Syslog、HTTP、Legacy、自定义。

2. Source组件把数据收集来以后，临时存放在Channel中。

3. Channel组件是在Agent中专门用于临时存储数据的，Source收集的数据将临时储蓄于此，可以存放在Memory、Jdbc、File、自定义。

4. Channel中的数据只有在Sink发送成功之后才会被删除。

5. Sink组件是用于把Channel中数据发送到目的地的组件，目的地包括HDFS、Logger、Avro、Thrift、Ipc、File、Null、HBase、Solr、自定义。

在整个数据传输过程中，流动的是event。事务保证是在event级别。

实验步骤

1.首先在Linux本地，新建/data/flume1目录，用于存放所需文件。

mkdir -p /data/flume1  

2.切换到/data/flume1目录，使用wget命令，下载Hive所需安装包flume-ng-1.5.0-cdh5.4.5.tar.gz。

cd /data/flume1  
wget http://192.168.19.201:60000/allfiles/flume1/flume-ng-1.5.0-cdh5.4.5.tar.gz  

将/data/flume1目录下的Flume的压缩包，解压缩到/apps目录下。

tar -xzvf /data/flume1/flume-ng-1.5.0-cdh5.4.5.tar.gz  -C  /apps  

并将解压缩后的目录apache-flume-1.5.0-cdh5.4.5-bin重命名为flume。

cd /apps  
mv /apps/apache-flume-1.5.0-cdh5.4.5-bin/  /apps/flume  

3.修改环境变量。使用vim打开用户环境变量。

sudo vim ~/.bashrc  

将以下内容，追加到用户环境变量中。

#flume config  
export FLUME_HOME=/apps/flume  
export FLUME_CONF_DIR=$FLUME_HOME/conf  
export PATH=$FLUME_HOME/bin:$PATH  

执行source，使用户环境变量生效。

source ~/.bashrc  

4.配置Flume。切换到/apps/flume/conf目录，并将配置文件flume-env.sh.template重命名为flume-env.sh。

cd /apps/flume/conf  
mv /apps/flume/conf/flume-env.sh.template  /apps/flume/conf/flume-env.sh

使用vim打开flume-env.sh文件。

vim flume-env.sh  

并将jdk的路径添加到flume-env.sh文件中。

export JAVA_HOME=/apps/java  

5.执行以下命令，测试Flume的安装是否正常。

flume-ng version  

输出内容如下：

至此Flume安装完毕 ！