Flume（02）——Flume安装部署

需求：使用网络telent命令向一台机器发送一些网络数据，然后通过flume采集网络端口数据。


—— 说好的安装部署呢？怎么开头提一个大需求？什么东西？
—— 别急，Flume的安装部署实在是太简单了。给我一个hadoop环境，去官网下载一个安装包，解压然后配一下flume-env.sh 就好啦。所以，所以…本章完？还是写一个实际的例子吧。反正也是别的教程的例子，学习学习。

下载解压，配置 flume-env.sh 文件

接上之前hadoop的所有环境，继续安装。
选择node03设备，将下载好的flume-ng-1.6.0安装包上传到安装包指定目录。
解压–>进入解压后的文件目录，进入conf–>根据模板文件创建flume-env.sh–>编辑修改，指定JAVA_HOME目录。

tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /export/servers/
cd  /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf
cp  flume-env.sh.template flume-env.sh
vim flume-env.sh
export JAVA_HOME=/export/servers/jdk1.8.0_141

安装到此就结束了。回过头来看我们这个需求，这是啥？该咋整？接下来——

开发配置文件

根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义，但一般跟我们采集方案相关需求相关啦，见名知意就好)
配置我们的网络收集的配置文件：在flume的conf目录下新建一个配置文件（采集方案）

vim   /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf/netcat-logger.conf

之后我们就可以编写这个配置文件了。
怎么写？找官方文档吧，拿过来改一改。。。
官方文档地址：
http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.14.0/FlumeUserGuide.html

# 定义agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.52.120
a1.sources.r1.port = 44444

# 描述和配置sink组件：k1
a1.sinks.k1.type = logger

# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置source  channel   sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动配置文件

改好了，就需要启动我们的配置文件了。其实这文档不改也能运行的。
指定采集方案配置文件，在相应的节点上启动flume agent
先用一个例子来测试一下程序环境是否正常
在node03上启动agent去采集数据

bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1  -Dflume.root.logger=INFO,console

-c conf 指定flume自身的配置文件所在目录
-f conf/netcat-logger.con 指定我们所描述的采集方案
-n a1 指定我们这个agent的名字

安装telent准备测试

在node01上安装telent客户端，模拟数据发送。

yum -y install telnet
telnet  node03  44444   # 使用telnet模拟数据发送，44444是我们之前配置source的端口

然后，在telent客户端发送数据，会发现，node03启动的配置文件之后的页面下，能够正常接收数据啦。