Hadoop环境配置（9）--flume搭建配置

1.将下载的flume安装包拖至software文件夹下

 2.将flume安装包解压到/opt/module/文件夹下

1. cd /opt/software/

2. tar -zxvf 安装包名 -C /opt/module/

3.修改系统环境变量

vi /etc/profile

在编辑面板中添加如下代码：

1. export FLUME_HOME=/opt/module/apache-flume-1.9.0-bin

2. export PATH=$PATH:$FLUME_HOME/bin

 4.重启环境配置

source /etc/profile

5.修改flume环境变量

cd /opt/module/apache-flume-1.9.0-bin/conf/

拷贝环境变量文件

1. cp flume-env.sh.template flume-env.sh

2. 将flume-env.sh.template拷贝并重命名为flume-env.sh

配置flume-env.sh文件

vi flume-env.sh

在编辑面板中添加如下代码

export JAVA_HOME=/opt/module/jdk1.8.0_212

6.配置文件

（1）、拷贝配置文件

cp flume-conf.properties.template flume-client.properties

（2）、配置flume-client.properties文件

vi flume-client.properties

在编辑面板中添加如下代码：

1. #分别指定agent的sources，sinks, channels的名称 名称可以自定义

3. a1.sources = s1

5. a1.sinks = k1

7. a1.channels = c1

11. \#配置目录scource

13. a1.sources.s1.type =spooldir

15. a1.sources.s1.spoolDir =/home/hadoop/logs

17. a1.sources.s1.fileHeader= true

19. a1.sources.s1.channels =c1

23. \#配置sink

25. a1.sinks.k1.type = logger

27. a1.sinks.k1.channel = c1

31. \#配置channel(内存做缓存)

33. a1.channels.c1.type = memory

7.启动flume

1. flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.logger=DEBUG,console

2. #-n:agent名称

3. #-c:配置文件路径conf

4. #-f:配置文件名称

8.将flume分发到Hadoop101和Hadoop102上

1. scp -r /opt/module/apache-flume-1.9.0-bin root@hadoop101:/opt/module

2. scp -r /opt/module/apache-flume-1.9.0-bin root@hadoop102:/opt/module

如果报错，可以配置下.bash_profile文件

vi ~/.bash_profile

 

 

使环境变量生效

source ~/.bash_profile

然后重新启动一下flume就好了