Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡

章节内容

上一节我们完成了：

• HiveServer2 的介绍和配置安装
• 修改 core-size hdfs-site 实现集群的启动
• Beeline 简单上手
• HCatalog 简单上手

背景介绍

这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。
之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。

注意，如果你和我一样，打算用公网部署，那一定要做好防火墙策略，避免不必要的麻烦！！！
请大家都以学习为目的，也请不要对我的服务进行嗅探或者攻击！！！

但是有一台公网服务器我还运行着别的服务，比如前几天发的：autodl-keeper 自己写的小工具，防止AutoDL机器过期的。还跑着别的Web服务，所以只能挤出一台 2C2G 的机器。那我的配置如下了：

• 2C4G 编号 h121
• 2C4G 编号 h122
• 2C2G 编号 h123

Flume 简介

Flume 是一个分布式，高可靠，高可用的海量日志采集、聚合、传输的系统。
Flume 支持在日志系统中定制各类数据发送方，用于采集数据。
Flume 提供对数据进行简单处理，并写到各种数据接收方的能力。

简单概括： Flume是实时采集日志的数据采集引擎。它有三个重要的组件概念：

• Source
• Channel
• Sink

他们之间的关系如下图表示：

Flume特点

• 分布式：Flume分布式集群部署，扩展性好
• 可靠性好：当节点出现故障时，日志能够被传送到其他节点上而不会丢失
• 易用性：Flume配置使用繁琐，对使用人员专业度要求高
• 实时采集：Flume采集流模式对数据进行实时采集

类似工具

• DataX 阿里异构数据源同步工具
• Kettle 开源ETL
• LogStash 应用程序日志、事件的传输、处理、管理和搜索的平台
• Scribe FaceBook 开源的日志收集系统

Flume架构

Agent

本质上一个JVM进程，该JVM进程控制Event数据流从外部日志生产者传输到目的地，或是下一个Agent。
一个完整的Agent中包含了三个完整的组件：Source、Channel、Sink。
Source是指数据的来源方式，Channel是一个数据缓冲池，Sink定义了数据输出的方式和目的地。

Source

负责接受数据到 Flume Agent的组件。Source组件可以处理各种类型，各种格式的日志数据。

Channel

为了Source和Sink之间的缓冲，Channel允许Source和Sink运作在不同的速率上。

Channel是线程安全的，可以同时处理多个Source写入操作以及多个SInk的读取操作。

常见的Channel如下：

• Memory Channel 是内存中的队列。Memory Channel在允许数据丢失的情况下使用
• File Channel 将所有事件都写到磁盘。

Sink

不断地轮询Channel中的事件并且批量的移除它们，将这些事件批量写入存储或者索引系统，或者被发送到另一个Agent。

Event

是Flume定义的是一个数据流传输的最小单位。

Flume拓扑

串行模式

将多个 Flume 结合起来，从最初的Source到最终Sink。
此模式不建议过多的Flume，过多不仅会影响传输速率，而且一旦传输过程中某个节点宕机，会影响整个系统。

复制模式

将事件流向一个或者多个目的地，这种模式将数据源复制到多个Channel中，每个Channel都有相同的数据，Sink可以选择传入不同的目的地。

负载均衡

多个 Sink 逻辑上划分到一个Sink组，Flume将数据发送到不同的Sink上。

Flume内部原理

• Source接受事件，交给其Channel处理
• 处理器通过拦截器 Interceptor，对事件进行处理，比如压缩解码、正则拦截、时间戳
• 经过拦截的事件再传给Channel选择器，将事件写入相应的Channel。
• 最后由Sink处理各个Channel事件。

项目下载

下载Flume

这里我选择：1.9.0

http://archive.apache.org/dist/flume/

使用 wegt 下载，或者 你现在好传到服务器上。我传到了 h122 机器上。

h122 /opt/software/

上传后进行解压

cd /opt/software
tar zxvf apache-flume-1.9.0-bin.tar.gz -C ../servers/
cd ../servers
ls

环境变量

修改配置文件

vim /etc/profile

写入如下的内容：

# flume
export FLUME_HOME=/opt/servers/apache-flume-1.9.0-bin
export PATH=$PATH:$FLUME_HOME/bin

写入的内容如下图：

刷新配置文件即可。

配置文件

cd $FLUME_HOME/conf
mv flume-env.sh.template flume-env.sh
vim flume-env.sh

把 JAVA_HOME 配置进去，防止出错。

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

配置的结果如下图：

至此！Flume的安装和配置已经完成！