Flume - 安装

最新推荐文章于 2024-08-08 07:52:34 发布

leoxry

最新推荐文章于 2024-08-08 07:52:34 发布

阅读量486

点赞数 1

分类专栏： Flume 文章标签： Flume安装

本文链接：https://blog.csdn.net/BlessingXRY/article/details/101117579

版权

Flume 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文档将指导您完成Flume的安装过程，包括解压缩软件包，修改文件名，配置参数，设置环境变量以及最终的测试验证。

摘要由CSDN通过智能技术生成

一、安装

1 解压缩

[root@hadoop01 ~]# tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/

2 修改名称

[root@hadoop01 local]# mv apache-flume-1.9.0-bin/ flume-1.9.0/

3 修改配置

[root@hadoop01 flume-1.9.0]# cd conf/
[root@hadoop01 conf]# cd flume-env.sh.template flume-env.sh

[root@hadoop01 conf]# vi flume-env.sh
添加内容如下：
export JAVA_HOME=/usr/local/jdk1.8.0_221

4 添加环境变量

[root@hadoop01 conf]# vi /etc/profile
添加内容如下：
export FLUMN_HOME=/usr/local/flume-1.9.0
export PATH=$PATH:$FLUMN_HOME/bin

5 测试

1、创建myjob目录
[root@hadoop01 flume-1.9.0]# mkdir -p myjob

2、创建job文件
[root@hadoop01 flume-1.9.0]# cd myjob
[root@hadoop01 myjob]# vi first.job
文件内容如下：
#定义source|channel|sink组件
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#配置r1的属性
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /root/f_log

#配置sinks的属性
a1.sinks.k1.type = logger

#配置channel的属性
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 10000

#绑定source与sink于channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3、新开窗口2创建f_log文件
[root@hadoop01 ~]# vi /root/f_log
编辑内容如下：
Hello World!

4、返回窗口1运行启动语句
[root@hadoop01 flume-1.9.0]# flume-ng agent -c conf/  -f myjob/first.job -n a1 -Dflume.root.logger=INFO,console

5、返回窗口2向f_log文件追加内容
[root@hadoop01 ~]# echo "Love You" >> f_log 

6、返回窗口1查看打印的日志数据内容