大数据之Flume入门

Flume

一、简介：

Flume是一种分布式，可靠且可用的服务，用于有效的收集、聚合和移动大量日志数据。

优点：

        1、具有基于数据流的简单灵活的架构。

        2、具有可靠的可靠性机制和许多故障转移和恢复机制，具有强的容错能力。

        3、使用简单的可扩展数据模型，允许在线分析应用程序。

        4、可以将应用产生的数据存储到大部分存储器上。

Flume的工作方式有两种：

1、Coudera提供的Flume-og。 

        采用多Master的方式，引入ZooKeeper来保存其配置数据，以保证配置数据的一致性。Flume Master之间使用gossip协议（六度分隔理论）同步数据。

2、Apache提供的Flume-ng

        采用单节点（数据安全性问题后面实际应用及其原理会有阐述），变为一个纯粹的传输工具。

FLume-og和Flume-ng对比

	Flume-ng	Flume-og
方式	多Master	单角色节点（agent）
线程	单线程（写入速度大于写出速度会产生数据阻塞）	多线程（source、channel、sink）

二、Flume-ng（大数据生产环境常用数据收集工具）

1、Flume-ng架构

Flume-ng为单角色的节点：agent角色，agent由source、channel、sink组成

Source：source用于采集数据，source是对接（个人理解为对接，而不是产生）数据流产生的地方，同时source会将数据流封装发送到channel。

Channel：连接source和sink，类似于队列

Sink：从Channel抽取数据，并将数据写到目标地址。

2、Flume-ng详解

1）、Source

1、功能：source监控某个文件或者端口，拿到数据后封装到event当中，并将event put/commit到channel当中

2、类型：1、avro（序列化、监听avro端口）

                 2、exec（命令产生的输出作为源）

                 3、taildir（监控制定的多个文件、可靠性高、不能读取二进制文件、不适用windows系统、）

                 4、spooling directory（监听目录、目录中文件不许修改且不许重名）、netcat（监听指定端口）

                 5、kafka（指定topic读数据）。

          以上为常用的source，其余source不做赘述。详情见（https://blog.csdn.net/u014612521/article/details/103058090）

2）、Channel

1、功能：channel类似于队列（先进先出），接收来自source的event，并等待sink拉取数据。

2、类型：1、memory channel（固定大小内存、速度快、容易丢数据）

                 2、JDBC channel（支持JDBC连接的数据库中、官推Derby、数据可恢复）

                 3、File channel（指定目录、可指定目录大小、数据可恢复、频繁读取磁盘速度慢）

                 4、spillable memory channel（内存做主要存储、临界点溢写磁盘（配置：overflowCapacity））

         以上为常用的channel，其余channel不做赘述。详情见（https://blog.csdn.net/u014612521/article/details/103058809）

 

3）、Sink

1、功能：sink主动去channel当中去拉数据，然后将数据写到目标地址。

2、类型： 1、hdfs sink（文本和序列化文件、两种文件压缩格式、自动划分文件、桶或区）

                 2、hive sink（包含分隔符或者JSON数据的events直接写入hive表或分区）

                 3、logger sink（INFO级别、多用来测试调试）

                 4、avro sink（events转换为avro events、大小同channel中events大小）

                 5、thrift sink（events转换为thrift events、大小同channel中events大小）

                 6、file roll sink（落本地文件）

        以上为常用的sink，其余sink不做赘述。详情见（https://www.cnblogs.com/swordfall/p/8157766.html）

4）、event

概述：在整个数据传输的过程中，流动的是event，既事务保证是在event级别进行的。

概念：event将传输的数据进行封装，是flume传输数据的基本单位，如果是文本文件，通常是一行记录，event也是事务的基本单位。event从source，流向channel，再到sink，本身为一个字节数据，并可携带headers（头信息）信息。event代表着一个数据的最小完整单元，从外部数据源来，向外部的目的地去。

                                                                                               Flume整体架构图