Flume-ng(Flume-1.6.0) CentOS7配置过程

最新推荐文章于 2022-02-25 19:03:09 发布

weixin_34072458

最新推荐文章于 2022-02-25 19:03:09 发布

阅读量148

点赞数

文章标签：运维大数据 java

原文链接：https://my.oschina.net/u/2478308/blog/731838

版权

2019独角兽企业重金招聘Python工程师标准>>>

1、配置JDK环境（JDK6.0版本以上）

解压JDK tar包到本地文件夹/usr/local/java目录。

打开终端输入vi /etc/profile命令（使用GNOME桌面的话可以直接gedit /etc/profile 直接save保存更方便）。

按insert键在文件末尾追加：

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

按Esc键退出编辑，输入：wq保存并退出。

此时在终端中输入java -version确认配置成功，倘若显示OpenJDK，需先将其卸载。

2、配置Flume-1.x.x环境

解压flume tar包到本地文件夹/usr/local/flume目录。

打开终端输入 vi /etc/profile 命令。

按insert键正在文件末尾追加：

export FLUME_HOME=/usr/local/flume/flume-1.6.0
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=.:$PATH::$FLUME_HOME/bin

按Esc键退出编辑，输入：wq保存并退出。

此时在终端中输入flume-ng version确认配置成功。

配置成功结果如下：

2、配置代理配置文件

在flume根目录下的conf文件夹中新建properties文件，文件名可自定义。

本文定义为flume-conf.properties。

配置文件内容如下：

参考官方文档示例：http://flume.apache.org/FlumeUserGuide.html

#单节点配置文件

# a1,r1,k1,c1分别为自定义的代理名称，源名称，接收器名称，通道名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 定义源为netcat连接模式，绑定IP为localhost，端口为44444
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 定义接收器输出日志
a1.sinks.k1.type = logger

# 定义内存通道
a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100

# 绑定源r1和接收器k1到通道c1
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3、测试连接

以root用户权限在终端进入flume根目录（/usr/local/flume/flume-1.6.0）。

输入命令：其中a1为自定义的代理名称。

bin/flume-ng agent -n a1 -c conf -f conf/flume-conf.properties

运行结果如下：末尾光标停留