Flume搭建与部署

概述

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

（一）下载Flume包

进入Flume官网，选择版本

 下载

上传Flume压缩包至tage

（二）解压Flume安装包

解压至server下

（注意：由于我的tage是用来放压缩包，server用于放解压后的文件，所以具体安装位置请根据你的实际情况进行） 

 执行结果 

 创建软连接

 ln -s apache-flume-1.9.0-bin/ flume

  

（三） 配置环境变量

修改配置文件

vim /etc/profile

(注意：在配置环境变量中，一定要确认好自己的路径）

更新环境变量

source /etc/profile 

查看安装版本

flume-ng version

（四）修改Flume配置文件

切换到Flume中，并创建file文件夹

（注意：这里的file文件夹是用来存放flume配置文件的，可根据实际情况改变）

编辑配置文件

vim nc-flume.conf

添加以下内容

#source的别名
a1.sources = r1
# channel的别名
a1.channels = c1
#sink的别名
a1.sinks = k1

#配置source的相关信息  数据源的 netcat一个主机的一个端口的数据 指定主机端口
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

#配置channel-内存
a1.channels.c1.type = memory

#配置sink-控制台打印
a1.sinks.k1.type = logger

#绑定source channel1 sink的对应关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动配置文件

  flume-ng agent -n a1 --conf-file nc-flume.conf -Dflume.root.logger=INFO,console

(五）测试Flume配置文件

另起节点，安装Telnet服务

yum install telnet  -y

执行结果

模拟数据发送

输入数据

hello  flume 

退出

ctrl+c

总结

如果想要了解更多flume的知识，可访问https://flume.liyifeng.org