在hadoopHA节点上部署flume高可用组件

前言

前面的blog已实现了hadoopHA的项目环境，本文继续为该hadoop环境引入flume组件，用于实时大数据项目的开发。考虑到项目已经使用了hadoopHA，那么flume的组件也相应的部署成HA模式

hadoop节点	数据源节点	角色
nn	nn	NameNode,DataNode数据源
dn2	dn2	NameNode,DateNode数据源
dn1	dn1	DataNode,数据源

其他hbase、hive等不再此表给出，因为前面的文件已有相关表格。

1、flume 的基本介绍

1.1 基本介绍

Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms. It uses a simple extensible data model that allows for online analytic application.

简单来说：flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具

目前flume最新版本为今年1月发布的 Flume 1.9.0，具体优化的内容：

• Better SSL/TLS support
• Configuration Filters to provide a way to inject sensitive information like passwords into the configuration
• Float and Double value support in Context
• Kafka client upgraded to 2.0
• HBase 2 support

环境要求：

Java Runtime Environment - Java 1.8 or later

1.2 数据流模型

这里以Flume收取web的日志再将其写入到hdfs作为数据流模型示例说明。
（需要注意的flume支持多级配置、扇入、扇出，这里仅介绍单级、单输入、单输出的模式）

Event
Event是Flume定义的一个数据流传输的最小单元。Agent就是一个Flume的实例，本质是一个JVM进程，该JVM进程控制Event数据流从外部日志生产者那里传输到目的地（或者是下一个Agent）。
在Flume中，event表示数据传输的一个最小单位，从上图可以看出Agent就是Flume的一个部署实例， 一个完整的Agent中包含了三个组件Source、Channel和Sink，Source是指数据的来源和方式，Channel是一个数据的缓冲池，Sink定义了数据输出的方式和目的地。

Source组件
Source是数据的收集端，负责将数据捕获后进行特殊的格式化，将数据封装到事件（event） 里，然后将事件推入Channel中。（对于实时大数据项目，这个source其实就是不断滚动的log数据文件。）
Flume提供了各种source的实现，具体参考官方文档：
Flume Sources、Avro Source、Thrift Source、Exec Source、JMS Source、Taildir Source、Kafka Source、NetCat TCP Source、NetCat UDP Source、Syslog Sources、HTTP Source、Custom Source等

Channel组件
Channel是连接Source和Sink的组件，可以看作一个数据的缓冲区，它可以将事件暂存到内存中也可以持久化到磁盘上， 直到Sink处理完该事件。flume提供多个channel提供对event数据的缓存：
Memory Channel、JDBC Channel、Kafka Channel、File Channel、Spillable Memory Channel、Pseudo Transaction Channel、Custom Channel
（在本大数据实时项目中，使用Memory Channel即可，生产环境需要根据具体需求而定）

Sink组件
Sink从Channel取出event数据，并将其写入到文件系统中，数据库中，hadoop中储数据，在日志数据较少时，可以将数据存储在文件系中，并且设定一定的时间间隔保存数据。在日志数据较多时，可以将相应的日志数据存储到Hadoop中，便于日后进行相应的数据分析。
Flume也提供了各种sink的实现，具体参考官方说明：
HDFS Sink、Hive Sink、Logger Sink、Avro Sink、Thrift Sink、IRC Sink、File Roll Sink、Null Sink、HBaseSinks、AsyncHBaseSink、ElasticSearchSink、Kite Dataset Sink、Kafka Sink、HTTP Sink、Custom Sink
（在实时大数据项目中，用sink配置将数据写入kafka sink）

以上的数据模型的详细介绍可以参考中文翻译文档：地址
(注意：该翻译文档对应flume1.8版本的内容，若想查阅最新的flume，参考官网1.9原文)

2、flume的配置文件说明

flume配置遵循Java properties文件格式的文本文件。一个或多个Agent配置可放在同一个配置文件里。配置文件包含Agent的source，sink和channel的各个属性以及他们的数据流连接。

完整的配置流程如下：
命名各个组件（定义流）–>连接各个组件–>配置各个组件的属性–>启动Agent

2.1 配置过程

这里以后面文章——flume整合kafka的配置文件说明。
（有较多的blog文章会照搬a1.sources=r1,a1.sinks=k1,a1.channels=c1这样的写法，a1?r1?k1?c1?到底指代什么？所以建议要参考官方文档，否则一头雾水？当然熟悉flume后，可以使用短命名，设置配置属性字符串不会显得太长）

# 1、列出Agent的所有Source、Channel、Sink
<Agent>.sources = <Source>
<Agent>.sinks = <Sink>
<Agent>.channels = <Channel1> <Channel2>

# 2、连接各个组件
# 设置Channel和Source的关联
<Agent>.sources.<Source>.channels = <Channel1> <Channel2> ...

# 设置Channel和Sink的关联
<Agent>.sinks.<Sink>.channel = <Channel1>


#