大数据技术之FLUME 配置及安装

前提 安装并配置jdk

没有安装请点我

1.简介

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

2.详细安装步骤

1.下载flume

wget http://mirror.bit.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz

2.创建目录

cd /opt/module
mkdir flume

3.解压

 tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/module/flume 

4.配置环境变量

vi /etc/profile

在done后面追加

export FLUME_HOME=/opt/module/flume/apache-flume-1.8.0-bin
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$FLUME_HOME/bin:$PATH

source /etc/profile

5.配置JAVA_HOME

cd /opt/module/flume/apache-flume-1.8.0-bin
cd conf
cp flume-env.sh.template  flume-env.sh
vi flume-env.sh

运行

export JAVA_HOME=/opt/module/jdk1.8.0_121

6.可以查看flume版本

cd /opt/module/flume/apache-flume-1.8.0-bin

./bin/flume-ng version

3.使用实例之输出Hello World

1.创建avro.conf