概述:本文主要讲述Flume基础环境的搭建,并实现简单的数据采集与输出。
1、Flume环境搭建
(1)安装JDK
下载并解压JDK、配置环境变量、版本检测
(2)下载并上传Flume
http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gz
scp flume-ng-1.6.0-cdh5.7.0.tar.gz root@hadoop:~/software
(3)解压并配置环境变量
tar -zxvf ~/software/flume-ng-1.6.0-cdh5.7.0.tar.gz -C ~/app
vi .bash_profile
#内容为
export JAVA_HOME=/root/app/jdk1.8.0_201
export PATH=$JAVA_HOME/bin:$PATH
export FLUME_HOME=/root/app/apache-flume-1.6.0-cdh5.7.0-bin
export PATH=$FLUME_HOME/bin:$PATH
#使环境变量生效
source .bash_profile
#检测环境变量配置
echo $FLUME_HOME
(4)修改Flume配置
#拷贝模板
cp app/apache-flume-1.6.0-cdh5.7.0-bin/conf/flume-env.sh.template app/apache-flume-1.6.0-cdh5.7.0-bin/conf/flume-env.sh
#修改配置
vi app/apache-flume-1.6.0-cdh5.7.0-bin/conf/flume-env.sh
#添加JDK配置目录
export JAVA_HOME=/root/app/jdk1.8.0_201
#Flume版本检测
flume-ng version
2、从指定端口采集数据并输出到控制台
(1)配置原理
2)修改配置文件
新增配置文件,指定采集数据端口