Flume的安装和使用

安装Flume

1.1访问Flume的官网（http://flume.apache.org/download.html），下载Flume安装apache-flume-1.9.0-bin.tar.gz。或者下载我的百度网盘资源。把安装文件解压缩到windows操作“D:\”目录下，然后执行如下命令测试是否安装成功：

>e:  切换盘符

> cd E:\bigdataCol\apache-flume-1.9.0-bin\bin 切换到flume的bin目录

> flume-ng version  执行该命令测试

如果启动中提示PathNotFount:  java.exe，则需要配置java的环境变量，JAVA_HOME=java的安装路径，在Path中配置%JAVA_HOME%\bin。注意：java的安装路径中尽量不要有空格。

2.采集NetCat数据显示到控制台

（1）在windows中打开telnet服务

(2)在Flume安装目录的conf子目录下，新建一个名称为example.conf的配置文件，该文件的内容如下：

# 设置Agent上的各个组件名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1
 
# 配置Source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
 
# 配置Sink
a1.sinks.k1.type = logger 
# 配置Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
 
# 把Source和Sink绑定到Channel上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

（3）新建一个cmd窗口（称为“Flume窗口”），并执行如下命令：

> cd E:\bigdataCol\apache-flume-1.9.0-bin

> .\bin\flume-ng agent --conf .\conf --conf-file .\conf\example.conf --name  a1  -property  flume.root.logger=INFO,console

（4）再新建（win+R）一个cmd窗口，并执行如下命令：

> telnet localhost 44444

3.采集目录下的数据显示到控制台

Windows系统中有一个目录“E:\bigdataCol\mylogs”，这个目录下不断有新的文件生成，使用Flume采集这个目录下的文件，并把文件内容显示到控制台（屏幕）。

（1）在Flume安装目录的conf子目录下，新建一个名称为example1.conf的配置文件，该文件的内容如下：

#定义三大组件名称
a1.sources = r1
a1.channels = c1
a1.sinks = k1
 
#定义Source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir =E:/bigdataCol/mylogs/
 
#定义Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
 
#定义Sink
a1.sinks.k1.type = logger
 
#组装Source、Channel、Sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

（2）若存在，则清空“E:\bigataCol\mylogs”目录（即删除该目录下的所有内容），然后新建一个cmd窗口（称为“Flume窗口”），并执行如下命令：

cd E:\bigdataCol\apache-flume-1.9.0-bin

.\bin\flume-ng agent --conf .\conf --conf-file .\conf\example1.conf --name  a1  -property  flume.root.logger=INFO,console