大数据框架Flume的基本使用

---

前言

提示：在前一篇文章中我们已经介绍了文件收集工具Flume的简介与安装，接下来我们一起学习如何操作Flume。

一、5步编写Agent配置文件

通过上一篇文章我们知道Flume是靠Agent来可靠处理日志数据，那么针对每一个任务，我们首先就要知道如何进行Agent的配置，本文不做过多深入介绍，但详细内容希望大家学会阅读官方文档http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html
里面的内容更为详实准确。
接下来我们开始创建一个Agent的配置，我们的目的是让它去监听44444端口的数据进入。一般情况下，我们在Flume目录下的conf中创建一个文件，例如a1.conf，然后写入配置的过程我总结为简单的5步：

#a1: agent名称 
#r1: source的名称
#k1: sink的名称
#c1: channel的名称
 
# 第一步：为组件写一个名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
 
# 第二步：设置source的配置
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
 
# 第三步：设置sink的配置
a1.sinks.k1.type = logger
 
# 第四步：设置channel的配置
a1.channels.c1.type = memory
 
# 第五步：把source和sink绑定到channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

我们把source.port配置为44444就是代表我们这个agent的任务是监听这个端口的消息进入，也可以改成监控文件或其他。

二、通过Telnet服务进行测试

因为我们目前是一个单机状态，所以为了测试方便，我们通过远程通信的Telnet来测试我们Flume的正常使用，而且本身telnet也是非常常用的工具。在这里为了方便大家我也贴上了它的下载地址：
链接：https://pan.baidu.com/s/1PQhvoHX3mEY8W2ielYjsBg
提取码：7g75

1.安装telnet

下载好后进入下载目录，使用 rpm -ivh ./*.rpm一键安装。

2.启动服务

安装好后通过/etc/rc.d/init.d/xinetd restart命令启动服务：

3.启动Flume

bin/flume-ng agent \
-c conf \
-n a1 \
-f conf/a1.conf \
-Dflume.root.logger=DEBUG,console

第一行是启动agent，-c指定我们的配置文件目录，-n指定agent名称，-f指定具体配置文件，-D是我们为了方便将监控日志信息直接输出到控制台。

此时已经可以看到它一直在check我们的配置文件for changes。
我们此时可以通过telnet 127.0.0.1 44444来连接上这个端口，然后往里发送信息：

比如我这里发送了hello flume！和1111111111两条信息，于此同时我们就能看到flume已经接收到了这两个event

几乎是完全同步的。测试完毕。

---

总结

对Flume的基本测试就讲到这里，关于Flume框架的其他内容已经其他大数据内容欢迎大家翻阅我的其他博客！