数仓开发之Flume《一》：Flume的概述及安装

目录

1. 🥙Flume概述

1.1 Flume简介

1.2 Flume的架构

1. 🧀agent介绍

2. ​Agent 主要有 3 个部分组成，Source、Channel、Sink。

🥗2.1 Source

🥗2.2 Sink

🥗2.3 Channel

3. 🧀Flume 自带两种 Channel：Memory Channel 和 File Channel。

4. 🧀Event 介绍

2. 🥙Flume的安装配置

2.1 下载地址

2.2 安装部署 

---

1. 🥙Flume概述

1.1 Flume简介

• Flume是一种可配置、高可用的数据采集工具，主要用于采集来自各种流媒体的数据（Web服务器的日志数据等）并传输到集中式数据存储区域。
• Flume 支持在日志系统中定制各种数据发送方，用于收集数据；并且可以对数据进行简单处理，将其写到可定制的各种数据接收方（如文本、HDFS、HBase等）。
• Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。

1.2 Flume的架构

单个agent采集数据

多级agent之间串联-级联flume

1. 🧀agent介绍

Flume中最核心的角色是agent，flume采集系统就是由一个个agent连接起来所形成的一个或简单或复杂的数据传输通道。 对于每一个Agent来说,它就是一个独立的守护进程(JVM),它负责从数据源接收数据，并发往下一个目的地。

2. ​Agent 主要有 3 个部分组成，Source、Channel、Sink。

🥗2.1 Source

Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据----》说白了就是就是数据来源

常用的Source类型	描述
Avro source	监听Avro端口并且从外部Avro客户端接收Event需指定被监听的IP和端口号。
Exec Source	可以通过指定的linux操作命令对日志进行读取，使用exec时需指定使用的命令
Spooling Directory Source	读取目录里的文件，当出现新文件时会读取该文件并获取数据（文件在读取过程中不能修改）
NetCat source	监听指定的端口并将接收到的数据的每一行转换为一个事件。
Kafka Source	作为一个消费者，从Kafka的topic读取消息
Http Source	接收HTTP 的GET和POST请求作为Flume的事件
TailDir Source	监控目录里的正则文件，并支持断点续传。

🥗2.2 Sink

下沉组件，用于往下一级agent传递数据或者向最终存储系统传递数据。Sink 组件目的地包括 hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。-----》数据最终写出的位置

常用的Sink类型	描述
Logger Sink	将数据写到Flume的log中，通常用于测试或者调试
Avro Sink	将数据发送给其他Avro Source
File Roll Sink	将数据存放在本地文件系统中，根据时间或者大小生成文件
Kafka Sink	将数据写入Kakfa中
HBase Sink	将数据写入Hbase
AsyncHbase Sink	使用异步的方式将数据写入Hbase
Hive Sink	将数据写入Hive
HDFS Sink	将数据写入HDFS
ElasticSearch Sink	将数据写入ElasticSearch
MorphilineSoir Sink	将数据写入Soir

🥗2.3 Channel

Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运作在不同的速率上。Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个Sink 的读取操作。------》中间的缓冲区

常用的Channel类型	描述
Memory Channel（常用）	储存Event在内存队列中，如果宕机可能会造成数据的丢失，具有很高的吞吐量
JDBC Channel	将Event储存在持久化的数据库中
Kafka Channel（常用）	将Event储存在Kafka中，Kakfa提供了高可用和复制性，当Kafka或agent崩溃时也不会丢失
File Channel（常用）	将Event持久化在本地文件系统里（性能较差），但可以保证数据不会丢失
Spillable Memory Channel	Event数据存储在内存和磁盘上，当内存队列满了将会持久化到磁盘文件(新加的，不稳定）

3. 🧀Flume 自带两种 Channel：Memory Channel 和 File Channel。

• Memory Channel 是内存中的队列。Memory Channel 在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么 Memory Channel 就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。
• File Channel 将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

4. 🧀Event 介绍

数据agent内部数据流转的封装形式；

• Source组件在获取到原始数据后，需要封装成Event放入channel； Sink组件从channel中取出Event后，需要根据目标存储的需求，转成其他形式的数据输出。
• Event封装对象主要有两部分组成： Headers和 Body
• header是一个集合 Map[String,String]，用于携带一些KV形式的元数据（标志、描述等） body： 就是一个字节数组byte[]；装载具体的数据内容

Event: {  
headers:HashMap<String,String>  ==> {host=doitedu01,timestamp=17623745832457} 元数据
body:byte[] ==> 61 20 61 20 61 61 61 20 61 20 0D    字节数据 
}  

2. 🥙Flume的安装配置

Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境

2.1 下载地址

（1）Flume 官网地址：Welcome to Apache Flume — Apache Flume
（2）文档查看地址：Flume 1.11.0 User Guide — Apache Flume
（3）下载地址：Index of /dist/flume

2.2 安装部署 

上传安装包到数据源所在节点上，然后解压 

tar -zxvf apache-flume-1.11.0-bin.tar.gz