flume-1.7.0 简单使用

在上一篇中，我们安装了 flume-ng，这一篇我们就来简单使用一下。

官网上是这么介绍的，我们需要指定一个配置文件，需要定义一个 agent 的名称，然后我们就可以使用 flume-ng 命令来启动了。

1 编写配置文件

我们先拿官网上的例子来跑一下看看，就使用 example.conf 文件：

[root@master conf]# pwd
/usr/hadoop/flume-1.7.0-bin/conf
[root@master conf]# vi example.conf 

# example.conf: A single-node Flume configuration

# Name the components on this agent
# 定义一个 agent 的元素

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
# 配置 source

a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
# 配置 sink

a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
# 定义 channel

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
# 用 channel 连接起来 source 和 sink

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

这里我简单写了一下注释，这可不是翻译过来的昂，大家看的时候别被我误导了。具体概念大家还是看官网吧。
其中有四个概念：

这是官网上给的示意图，我们可以这样理解：
WebServer 想给 HDFS 送点东西 (source) ，于是就找了 flume 这个 agent(代理) ，然后 WebServer 把 source 给了 agent , agent 拿到之后，用它自己的手段(channel)，可能是”物流“，然后到了离 HDFS 最近的”快递分拣点“(sink)，把东西给了 HDFS。
这张图只是示意图，别不是对于 example.conf 的解释，希望大家别想多了。

1.1 source

别听我胡扯，我只是为了方便理解，自己意淫的。
那么，对于这个 example.conf 的配置文件，我们定义了一个叫 a1 的 agent，然后 source 源配置的是 netcat 类型，对于 netcat source 需要配置的内容官网上写的很清楚：

黑色加粗的几项是必须配置的，对于其他几项是可选项。

1.2 channel

接下来是 channel，也就是我们要选那一种”物流“，这里我们用的是 memory，我们需要配置的是：

1.3 sink

我们的”物流分拣点“，sink 我们配置的是 logger，需要配置几项是：

可能你已经被我误导了，对于他们真正的解释还是看官网，获取你对它们的理解，把这些东西转换成为你能够理解的东西就行了。

2 启动 agent

2.1 启动

上面我们已经说过了，使用 flume-ng 命令启动。

具体参数看上图。

[root@master conf]# pwd
/usr/hadoop/flume-1.7.0-bin/conf

[root@master conf]# flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console

Info: Including Hadoop libraries found via (/usr/hadoop/hadoop-2.6.4/bin/hadoop) for HDFS access
Info: Including HBASE libraries found via (/usr/hadoop/hbase-1.2.3/bin/hbase) for HBASE access
...

16/11/18 19:34:27 INFO node.Application: Starting Channel c1
16/11/18 19:34:27 INFO instrumentation.MonitoredCounterGroup: Monitored counter group for type: CHANNEL, name: c1: Successfully registered new MBean.
16/11/18 19:34:27 INFO instrumentation.MonitoredCounterGroup: Component type: CHANNEL, name: c1 started
16/11/18 19:34:27 INFO node.Application: Starting Sink k1
16/11/18 19:34:27 INFO node.Application: Starting Source r1
16/11/18 19:34:27 INFO source.NetcatSource: Source starting
16/11/18 19:34:27 INFO source.NetcatSo