前提 安装并配置jdk
1.简介
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
2.详细安装步骤
1.下载flume
wget http://mirror.bit.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
2.创建目录
cd /opt/module
mkdir flume
3.解压
tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/module/flume
4.配置环境变量
vi /etc/profile
在done后面追加
export FLUME_HOME=/opt/module/flume/apache-flume-1.8.0-bin
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$FLUME_HOME/bin:$PATH
source /etc/profile
5.配置JAVA_HOME
cd /opt/module/flume/apache-flume-1.8.0-bin
cd conf
cp flume-env.sh.template flume-env.sh
vi flume-env.sh
运行
export JAVA_HOME=/opt/module/jdk1.8.0_121
6.可以查看flume版本
cd /opt/module/flume/apache-flume-1.8.0-bin
./bin/flume-ng version
3.使用实例之输出Hello World
1.创建avro.conf