在安装之前了解一下flume是干什么的:
-
flume
(日志收集系统)
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
安装flume
下载地址:http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
把下载好的flume压缩文件用xftp拖拽到目录:
Tar解压文件 存放在opt目录:
进入flume的conf文件夹,新建一个配置文件,我的叫conf-a1.conf(叫什么都无所谓关键是里面配置),进入配置,今天配置三项实验:监听网络,监听文件,监听文件夹
首先来配置监听网络的:
配置完成后在bin目录下输入命令:./bin/flume-ng agent -c conf -f conf/conf-a1.conf -n a1-Dflume.root.logger=INFO,console
在xshell里新建一个会话窗口,这时默认是在本地c盘,输入命令telnet 虚拟机ip 44444,我的是这样:
这时在这个里面输入东西,另一个运行窗口就会监控到
另外两个也是一样,就不多说了,配置文件写下面了:
文件的:
文件夹的: