数据采集-flume的使用

前言

    在一个完整的大数据处理系统中，
    除了hdfs+mapreduce(或spark)+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，
    而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示:

日志采集框架Flume

Flume介绍

概述

• Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
• Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集的数据输出到HDFS、hbase、kafka等众多外部存储系统中
• 一般的采集需求，通过对flume的简单配置即可实现
• Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日志数据采集场景。

运行机制

1. Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接形成
2. 每一个agent相当于一个数据传递员，内部有三个组件:

==Source到Channel到Sink之间传递数据的形式是Event事件:Event事件是一个数据流单元==

        a)Source:采集源，用于，用于跟数据源对接，以获取数据

        b)Sink:下沉地，采集数据传送的目的地，用于往下一级agent传递数据或者往最终存储系统传递数据

        c)Channel:agent内部的数据传输通道，用于从source将数据传递到sink

Flume采集系统结构图

1.简单结构

    单个agent采集数据

2.复杂结构

    多级agent之间串联
![image](https://note.youdao.com/yws/public/resource/2a1973505ed147e8a34da5b2c1189f29/xmlnote/65014D778B014DB8A4A8EE25077053F6/13190)

Flume的体系结构

Flume的体系结构分成三个部分：数据源、Flume、目的地

数据源种类有很多：可以来自directory、http、kafka等，flume提供了source组件用来采集数据源。

1、source作用：采集日志

source种类：

1、spooling directory source：采集目录中的日志

2、htttp source：采集http中的日志

3、kafka source：采集kafka中的日志

……

采集到的日志需要进行缓存，flume提供了channel组件用来缓存数据。

2、channel作用：缓存日志

channel种类：

1、memory channel：缓存到内存中（最常用）

2、本地文件

3、JDBC channel：通过JDBC缓存到关系型数据库中

4、kafka channel：缓存到kafka中

……

例如:
#描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type=memory
#默认该通道中最大的可以存储的event数量
a1.channels.c1.capacity=1000
#每次最大可以从source中拿到或者送到sink中的event数量
a1.channels.c1.transactionCapacity=100
--------------------------------------------------------
#对于channel的配置描述 使用文件做数据的临时缓存 这种的安全性要高
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /home/uplooking/data/flume/checkpoint
a1.channels.c1.dataDirs = /home/uplooking/data/flume/data

==生产中一般用的是memory==

缓存的数据最终需要进行保存，flume提供了sink组件用来保存数据。

3、sink作用：保存日志

sink种类：

1、HDFS sink：保存到HDFS中

2、HBase sink：保存到HBase中

3、Hive sink：保存到Hive中

4、kafka sink：保存到kafka中

……

Flume实战案例

Flume的安装部署

    1、Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境。上传安装包到数据源所在节点上
    然后解压    tar -zxvf apache-flume-1.6.0-bin.tar.gz
    然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME
    2、根据数据采集的需求配置采集方案，在配置文件中进行描述(文件名可任意自定义)
    3、指定采集方案配置文件，在相应的节点上启动flume agent

示例

    先用一个最简单的例子来测试一下程序环境是否正常

    1、先在flume的conf目录下新建一个文件
    vi netcat-logger.conf
```
#定义这个agent中各组件的名字
a1.sources=r1
a1.sinks=k1
a1.channels=c1

描述和配置source组件:r1

a1.sources.r1.type=netcat

这里如果填的是localhost回环地址，那么只有本机可以访问。如果填写的是server1，其他机器就可以访问了

a1.sources.r1.bind=localhosta1.sources.r1.port=8888

描述和配置sink组件:k1

a1.sinks.k1.type=logger

描述和配置channel组件，此处使用是内存缓存的方式

a1.channels.c1.type=memory

默认该通道中最大的可以存储的event数量

a1.channels.c1.capacity=1000

每次最大可以从source中拿到或者送到sink中的event数量

a1.channels.c1.transactionCapacity=100

描述和配置source,channel,sink之间的连接关系。注意，这里的sources的channel有s。不要漏了

a1.sources.r1.channels=c1a1.sinks.k1.channel=c1

    2.启动agent去采集数据
    

bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console

    -c conf 指定flume自身的配置文件所在目录
    -f conf/netcat-logger.conf 指定我们所描述的采集方案
    -n a1 指定我们这个agent的名字
    
    3.测试
    先要往agent采集监听的端口上发送数据，让agent有数据可采
    随便在一个能跟agent节点联网的机器上
    

telnet agent-hostname port

==题外话:经常有人问到linux中硬链接和软链接的区别:只需记得硬链接实际上只是一个引用，就跟java中的对应一样。而软件链接实际上是一个文件，当我们用rm -rf去删除一个使用了软件链接的文件时，会把该文件真正删掉==

## 采集案例
### 采集目录
    
    采集需求:某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就采集
    根据需求，首先定义一下3大要素
-     采集源，即source--监控文件目录:spooldir
-     下沉目标，即sink--logger:logger
-     source和sink之间的传递通道--channel，可用file channel也可用channel

    编写配置文件
    

Name the components on this agent

a1.sources = r1a1.sinks = k1a1.channels = c1

Describe/configure the source

a1.sources.r1.type = spooldir

监听的文件目录

a1.sources.r1.spoolDir = /home/hadoop/flumespool

表示在flume读取数据之后，是否在封装出来的event中将文件名添加到event的header中。

a1.sources.r1.fileHeader = true

Describe the sink

a1.sinks.k1.type = logger

channel以缓存的方式

a1.channels.c1.type = memory

channel中最多可以缓存1000个event

a1.channels.c1.capacity = 1000

100个event会传输到channel或指定目的地

a1.channels.c1.transactionCapacity = 100

Bind the source and sink to the channel

a1.sources.r1.channels = c1a1.sinks.k1.channel = c1

    启动
    

bin/flume-ng agent -c conf -f conf/spoodir-logger.conf -n a1 -Dflume.root.logger=INFO,console

### 采集文件到HDFS
    
    采集需求:比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs
    
    根据需求，首先定义以下3大要素
-     采集源，即source--监控文件内容更新:exec 'tail -F file'
-     下沉目标，即sink--HDFS文件系统:hdfs sink
-     source和sink之间的传递通道--channel，可用file channel也可以用内存channel

    1.配置文件编写
    

Name the components on this agent

a1.sources = r1a1.sinks = k1a1.channels = c1

exec 指的是命令

Describe/configure the source

a1.sources.r1.type = exec

F根据文件名追中, f根据文件的nodeid追中

a1.sources.r1.command = tail -F /home/hadoop/log/test.loga1.sources.r1.channels = c1

Describe the sink

下沉目标

a1.sinks.k1.type = hdfsa1.sinks.k1.channel = c1

指定目录, flum帮做目的替换

a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/

文件的命名, 前缀

a1.sinks.k1.hdfs.filePrefix = events-

10 分钟就改目录

a1.sinks.k1.hdfs.round = truea1.sinks.k1.hdfs.roundValue = 10a1.sinks.k1.hdfs.roundUnit = minute

文件滚动之前的等待时间(秒)

a1.sinks.k1.hdfs.rollInterval = 3

文件滚动的大小限制(bytes)

a1.sinks.k1.hdfs.rollSize = 500

写入多少个event数据后滚动文件(事件个数)。也就是说写入20个event或者文件满500字节或者等待3秒，该文件就会滚动一次。

a1.sinks.k1.hdfs.rollCount = 20

5个事件就往里面写入(flush到hdfs)

a1.sinks.k1.hdfs.batchSize = 5

用本地时间格式化目录

a1.sinks.k1.hdfs.useLocalTimeStamp = true

下沉后, 生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本

a1.sinks.k1.hdfs.fileType = DataStream

Use a channel which buffers events in memory

a1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100

Bind the source and sink to the channel

a1.sources.r1.channels = c1a1.sinks.k1.channel = c1

    2.仿照日志生成脚本
    

!/bin/bash

while truedoecho iamkris >> /home/hadoop/log/test.logsleep 1done

    3.启动
    

bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n a1

./makelog.sh

### 配置avro

    当我们有多个agent，多个agent之间的通信可以通过配置avro实现
    
    1.编写avro客户端配置文件
    

Name the components on this agent

a1.sources = r1a1.sinks = k1a1.channels = c1

Describe/configure the source

a1.sources.r1.type = execa1.sources.r1.command = tail -F /home/hadoop/log/test.loga1.sources.r1.channels = c1

Describe the sink

绑定的不是本机, 是另外一台机器的服务地址, sink端的avro是一个发送端, avro的客户端, 往server2这个机器上发

a1.sinks = k1a1.sinks.k1.type = avroa1.sinks.k1.channel = c1a1.sinks.k1.hostname = server2a1.sinks.k1.port = 4141a1.sinks.k1.batch-size = 2

Use a channel which buffers events in memory

a1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100

Bind the source and sink to the channel

a1.sources.r1.channels = c1a1.sinks.k1.channel = c1

    2.编写avro服务端配置文件
    

a1.sources=r1a1.sinks=k1a1.channels=c1

avro服务端

a1.sources.r1.type=avro

绑定本机的任何地址进行接收

a1.sources.r1.bind=0.0.0.0a1.sources.r1.port=4141

a1.sinks.k1.type=hdfsa1.sinks.k1.hdfs.path=/flume/avrotohdfs/%y-%m-%d/%H-%Ma1.sinks.k1.hdfs.filePrefix=events-

a1.sinks.k1.hdfs.round=truea1.sinks.k1.hdfs.roundValue=10a1.sinks.k1.hdfs.roundUnit=minute

a1.sinks.k1.hdfs.rollInterval=60a1.sinks.k1.hdfs.rollSize=500a1.sinks.k1.hdfs.rollCount=20

a1.sinks.k1.hdfs.batchSize=5

a1.sinks.k1.hdfs.useLocalTimeStamp=true

a1.sinks.k1.hdfs.fileType=DataStream

a1.channels.c1.type=memorya1.channels.c1.capacity=1000a1.channels.c1.transactionCapacity=100

a1.sources.r1.channels=c1a1.sinks.k1.channel=c1

    3.启动每个agent

avro服务端

bin/flume-ng agent -c conf -f conf/avro-hdfs.conf -n a1

avro客户端

bin/flume-ng agent -c conf -f conf/tail-avro.conf -n a1

### 采集到kafka
#### config配置

a1.sources=r1a1.channels=c1a1.sinks=k1

a1.sources.r1.type=execa1.sources.r1.command=tail -F /export/servers/logs/data/data.log

a1.channels.c1.type=memorya1.channels.c1.capacity=1000a1.channels.c1.transationCapacity=100

a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSinka1.sinks.k1.topic=flumetokafkaa1.sinks.k1.brokerList=server1:9092a1.sinks.k1.requiredAcks=1

a1.sources.r1.channels=c1a1.sinks.k1.channel=c1

#### 启动

bin/flume-ng agent -n a1 -c conf -f conf/catdata.conf -Dflume.root.logger=INFO,console`

喜欢就关注公众号:喜讯XiCent