flume中使用NetCat Source与File Channel进行日志管理（图文结合）

       Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

       具体的理论这里不说了，网上非常多，以下介绍一个详细案例，便于初学者入门。

一、首先创建一个 .conf 文件

       打开虚拟机以后，使用Xshell与Xftp与虚拟机IP连接（语句我们写在Xshell中，在Xftp中进行文件管理），在Xftp中进入我们解压好的flume-1.8.0文件夹，进入里面的conf文件夹（这里可以创建 .conf 文件），创建 file-channel_source.conf 如下图所示：

二、编辑 file-channel_source.conf 配置文件

      我们对 file-channel_source.conf 文件进行编辑，在里面写入以下语句：

#agent取一个名字： 一个配置文件中可以配置多个agent【建议一个文件就配置一个】
#配置一个agent，agent的名称可以自定义（如a1）
#指定agent的sources（如s1）、sinks（如k1）、channels（如c1）
#分别指定agent的sources，sinks,channels的名称 名称可以自定义
a1.sources = s1
a1.sinks = k1
a1.channels = c1

#配置source
#agent名称 .sources.source 的名字.属性=值
#一个NetCat Source用来监听一个指定端口，并将接受到的数据的每一行转换为一个事件
a1.sources.s1.type = netcat
a1.sources.s1.bind = localhost
a1.sources.s1.port = 44445

#配置sinks
#agent的名字 .sinks.sink 的名字 .属性=值
a1.sinks.k1.type = logger

#关于channel的配置
#agent的名字 .channel.channel 的名字 .属性=值
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /home/jjf/flume-1.8.0/file-channel/checkpointDir
a1.channels.c1.dataDirs = /home/jjf/flume-1.8.0/file-channel/data

#为sources和sinks绑定channels   进行关联
a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

       相关语句解释看注释，其中要定义好客户端连接时使用的端口号与日志保存的路径，这案例使用本机的44445端口。然后我们再按照写得路径创建相应的文件夹，如下：

三、接下去我们打开配置

       在Xshell的窗口中输入     flume-hg agent --conf /home/jjf/flume-1.8.0/conf --conf-file /home/jjf/flume-1.8.0/conf/file-channel_source.conf --name a1 -Dflume.root.logger=INFO,console   打开这个配置文件。

       配置成功后我们可以看到以下结果：（出现选中的情况说明 44445 端口开启成功）

四、连接44445端口，发送数据

      我们再Xshell中重新打开一个窗体，在里面输入 telnet localhost 44445 连接44445这个在conf中配置的端口，连接成功后再输入要发送的数据，回车：

       这里我发送了一个 “hello” ，下面出现OK说明传输成功。

五、查看测试结果       

       然后我们可以到配置文件的窗口上看结果：

     最上面一行就是接收到的数据，说明连接成功。然后我们可以查看 .conf 文件中配置存放日志的地址。

       可以看到原来空白文件夹下面多出来很多文件，说明我们测试成功。主要流程就这样，一般我们使用flume后再使用kafka一起进行文件传输，这个以后再讲。