Flume安装部署

相关知识

Flume是Cloudera公司的一款高性能、高可用的分布式日志收集系统。

Flume的核心是把数据从数据源收集过来再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，再删除缓存的数据。

Flume传输数据的基本单位是event，如果是文本文件，通常是一行记录，这也是事务的基本单位。

Flume运行的核心是Agent。它是一个完整的数据收集工具，含有三个核心组件，分别是Source、Channel、Sink。

1.Source组件是专门用于收集日志的，可以处理各种类型各种格式的日志数据，包括Avro、Thrift、Exec、Jms、Spooling directory、Netcat、Sequence Generator、Syslog、HTTP、Legacy、自定义。

2.Source组件把数据收集来以后，临时存放在Channel中。

3.Channel组件是在Agent中专门用于临时存储数据的，Source收集的数据将临时储蓄于此，可以存放在Memory、Jdbc、File、自定义。

4.Channel中的数据只有在Sink发送成功之后才会被删除。

5.Sink组件是用于把Channel中数据发送到目的地的组件，目的地包括HDFS、Logger、Avro、Thrift、Ipc、File、Null、HBase、Solr、自定义。

在整个数据传输过程中，流动的是event。事务保证是在event级别。

任务内容

在已安装好的Hadoop环境基础上，安装并配置Flume。

任务步骤

1.首先在Linux本地，新建/data/flume1目录，用于存放所需文件。

mkdir -p /data/flume1  

 

2.切换到/data/flume1目录，使用wget命令，下载Hive所需安装包flume-ng-1.5.0-cdh5.4.5.tar.gz。

cd /data/flume1  
wget '路径名'/flume-ng-1.5.0-cdh5.4.5.tar.gz  

 

将/data/flume1目录下的Flume的压缩包，解压缩到/apps目录下。

tar -xzvf /data/flume1/flume-ng-1.5.0-cdh5.4.5.tar.gz  -C  /apps  

 

并将解压缩后的目录apache-flume-1.5.0-cdh5.4.5-bin重命名为flume。

cd /apps  
mv /apps/apache-flume-1.5.0-cdh5.4.5-bin/  /apps/flume  

 

3.修改环境变量。使用vim打开用户环境变量。

sudo vim ~/.bashrc 

 

将以下内容，追加到用户环境变量中。

#flume config  
export FLUME_HOME=/apps/flume  
export FLUME_CONF_DIR=$FLUME_HOME/conf  
export PATH=$FLUME_HOME/bin:$PATH  

 

执行source，使用户环境变量生效。

source ~/.bashrc  

 

4.配置Flume。切换到/apps/flume/conf目录，并将配置文件flume-env.sh.template重命名为flume-env.sh。

cd /apps/flume/conf  
mv /apps/flume/conf/flume-env.sh.template  /apps/flume/conf/flume-env.sh  

 

使用vim打开flume-env.sh文件。

vim flume-env.sh  

 

并将jdk的路径添加到flume-env.sh文件中。

export JAVA_HOME=/apps/java  

 

5.执行以下命令，测试Flume的安装是否正常。

flume-ng version  

 

输出内容如下：

至此Flume安装完毕 ！