（二十二）日志采集框架Flume的介绍与案例

前言

在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架

如图所示：

1.Flume介绍

1.1 概述

• Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
• Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中
• 一般的采集需求，通过对flume的简单配置即可实现
• Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景

1.2 运行机制

1. Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成
2. 每一个agent相当于一个数据传递员，内部有三个组件：Source：采集源，用于跟数据源对接，以获取数据Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据Channel：angent内部的数据传输通道，用于从source将数据传递到sink
3.  

单个agent采集数据

多级agent之间串联

2.Flume的安装部署

2.1下载地址：http://flume.apache.org/download.html

上传后解压缩

tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /usr/local/

改名：mv apache-flume-1.8.0-bin/ flume

2.2修改配置文件

进入conf目录：

cp flume-env.sh.template flume-env.sh

在里面配置JAVA_HOME

2.3配置环境变量

vim ~/.bashrc

中增加你的flume的安装目录路径

source ~/.bashrc

2.4查看版本（到flume的bin目录）

flume-ng version

3.Flume的三个案例

3.1、案例一

flume的官方文档https://flume.apache.org/FlumeUserGuide.html

需求

从指定网络端口采集数据输出到控制台

操作

使用flume的关键就是写配置文件

• 1）配置Source
• 2）配置Channel
• 3）配置Sink
• 4)把以上三个组件串起来

在conf下增加配置文件

vim netcat-logger.conf

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = Master
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

 

• a1:agent名称
• r1:source名称
• k1:sink名称
• c1:channel名称

启动agent

netcat-logger.conf是自己刚刚创建的配置文件名字

flume-ng agent --name a1 --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/conf/netcat-logger.conf -Dflume.root.logger=INFO,console

正在监听数据

如何操作(使用telnet进行操作)

打开新的控制台，对端口号44444进行操作

telnet Master 44444

接收数据进行分析

Event: { headers:{} body: 68 65 6C 6C 6F 0D hello.}

Event是Flume数据传输的基本单元

Event=可选的header+byte array

一行记录即为一个Event

3.2、案例二

需求

监控一个文件实时采集新增的数据输出到控制台

Agent选型：exec source  +  memory channel + logger sink

1.在conf下创建新配置文件example.conf

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /usr/local/hadoop/data/data.log
a1.sources.r1.shell = /bin/sh -c

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2.在/usr/local/hadoop中创建data文件夹，并创建data.log文件

mkdir data

vim data.log 保存并退出

2.启动Agent

flume-ng agent --name a1 --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/conf/example.conf -Dflume.root.logger=INFO,console

3.data.log增加内容

echo hello >> data.log

3、案例三

需求

将A服务器上的日志实时采集到B服务器上

 

技术选型：

exec source  + memory channel + avro sink

 

avro source + memory channel + logger sink

启动