Flume知识点（一） --Flume安装部署

1.Flume安装部署

1.上传
	rz  #上传软件
2.安装部署
	 tar -zvxf flume-ng-1.6.0-cdh5.16.2.tar.gz    #解压缩
	 ln -s apache-flume-1.6.0-cdh5.16.2-bin flume   #建立软连接
	cd flume/bin
	rm flume-ng.cmd   #删除，这个是在win中应用的，在这里没有用
3.环境变量配置
	
	vi .bashrc

	export FLUME_HOME=/home/hadoop/app/flume
	export PATH=$PATH:$FLUME_HOME/bin

	source .bashrc
4.验证
app/flume/bin/flume-ng version 

5.修改配置文件
cd app/flume/conf   #在conf目录下修改
cp flume-env.sh.template flume-env.sh 
vi flume-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_221


6.如果后面需要Flume将文件放入到HDFS，还需要将：
cd /usr/local/hadoop/etc/hadoop/core-site.xml

还有其他地几个jar需要导入到flume/lib中，不然执行HDFS地Sink就会出错。

2.Flume框架

Flume核心组件
网址：http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html
1.Source
2.Channel(相当于数据的缓存)
3.Sink