hadoop生态圈-flume

目录

前言  

 一   Flume基础架构

         1.1  Agent

        1.2 Source

        1.3 Sink

        1.4 Channel

        1.5 Event

 二    Flume安装

        2.1 下载地址

        2.2 安装步骤

三   flume测试案例

        3.1 案例准备

        3.2  实现步骤

         3.3 开启flume监听端口

        3.4参数说明。

         3.5 使用netcat工具向本机的55555端口发送内容

        3.6 查看flume监听端口观测接收数据情况。

四  总结

---

前言  

        Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的 海量日志采集、聚合和传

输的系统 。 Flume 基于流式架构，灵活简单。

        flume最主要的作用就是实时读取服务器本地磁盘的数据，并将其写到HDFS上。

 一   Flume基础架构

        Flume组成架构如下图所示：

        

         1.1  Agent

        Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成，Source、Channel、Sink。

        1.2 Source

        Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、taildir、sequence generator、syslog、http、legacy。

        1.3 Sink

        Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。 Sink 组件目的地包括 hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。

        1.4 Channel

        Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运 作在不同的速率上。Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个 Sink 的读取操作。

        Flume 默认自带两种 Channel：Memory Channel 和 File Channel。

        Memory Channel 是内存中的队列。Memory Channel 在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么 Memory Channel 就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。

        File Channel 将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

        1.5 Event

        传输单元，Flume 数据传输的基本单元，以 Event 的形式将数据从源头送至目的地。Event 由 Header 和 Body 两部分组成，Header 用来存放该 event 的一些属性，为 K-V 结构，Body 用来存放该条数据，形式为字节数组。结构如下图所示：

 二    Flume安装

        2.1 下载地址

        （1）官网下载地址：http://flume.apache.org/

        （2）百度网盘flume1.9.0版本链接：https://pan.baidu.com/s/110DZxRd_hpNf4Cb-sRqAYg 
                  提取码：1949

        2.2 安装步骤

        首先将压缩包上传至linux软件包下，然后解压至自己对应软件包下并且改名。（本文软件包存放在opt/module/下）

cd /opt/software/
tar -zxf apache-flume-1.9.0-bin.tar.gz -C /opt/module/
mv apache-flume-1.9.0-bin/ /opt/module/flume

         如果出现与hadoop文件兼容性问题可以将flume的lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3 （如果没有出现兼容问题可以不进行如下操作）。

rm /opt/module/flume/lib/guava-11.0.2.jar

然后flume就配置完毕了。

三   flume测试案例

        使用flume监听一个端口，并且收集该端口的数据，打印至控制台。

        3.1 案例准备

        首先我们需要安装一个netcat工具用于端口信息的发送，并且需要一个不被占用的端口和配置好的flume。

        3.2  实现步骤

                （1）安装netcat工具。

sudo yum install -y nc

              （2）判断端口是否被占用（本文选择测试的端口为55555）。

sudo netstat -nlp | grep 55555

                （3）创建job工作区间并且创建Flume Agent配置文件flume-netcat-logger.conf。 

cd /opt/moudle/flume
mkdir job
cd job/
vim flume-netcat-logger.conf

                 向文件中添加如下配置：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 55555
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

        各参数具体配置来源于官方手册 ： http://flume.apache.org/FlumeUserGuide.html

         3.3 开启flume监听端口

        两种启动写法，写法1：启动必须要在flume目录进行启动。

bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

        写法2：

bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

        3.4参数说明。

        --conf/-c：表示配置文件存储在 conf/目录

        --name/-n：表示给 agent 起名为 a1

        --conf-file/-f：flume 本次启动读取的配置文件是在 job 文件夹下的 flume-telnet.conf文件。

        -Dflume.root.logger=INFO,console ：-D 表示 flume 运行时动态修改 flume.root.logger参数属性值，并将控制台日志打印级别设置为 INFO 级别。日志级别包括:log、info、warn、error。

         3.5 使用netcat工具向本机的55555端口发送内容

nc localhost 55555
hello

        3.6 查看flume监听端口观测接收数据情况。

四  总结

        flume最主要的作用就是实时读取服务器本地磁盘的数据，并将其写到HDFS上。通过对agent中的组件进行不同类型的设置可以实现数据不同位置读取与数据不同位置的存储。且channel可以作为数据缓冲池进行使用。