Flume简单学习总结

1.定义

flume是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。它是基于流式架构的，灵活简单。

很明显从这个定义中就能看出其具备：

3个特点：①高可用的；②高可靠的；③分布式的。

3个作用：①采集；②聚合；③传输。

2.应用

其实从其定义中来看，就知道它能够使用在大数据相关领域，因为大数据最直观的连接就是数据多(大)，那么“海量”能够很好的契合。并且很明显它是处理大数据领域数据采集、存储、计算中的采集这一环

大数据技术栈生态体系：

①一个面向消费者的网站，可以通过收集消费用户特定行为产生的日志数据交给存储平台，并用hadoop里的mr或者spark去进行计算分析。 

②私人订制的内容推送和广告定点投放。

③作为ETL（Extract-Transform-Load）工具

3.组成

如图

3.1.Agent

Agent有Source、channel、Sink三个部分组成。是一个jvm进程，以事件(Event)的形式将数据从源头送至目的地。

3.2.Event

是flume中的基本传输单元。Event由header和body两部分组成。

其中Header为Map的k-v结构，用来存放一些event的属性，我们通常在实现自定义拦截器来控制数据从Source发送到指定的channel的时候就自定义编写这个header中的属性。

body为字节数组，用来存放数据。

3.3.Source

负责接收数据到flume agent的组件，可以处理各种类型、各种格式的日志数据。

3.4.Channel

位于Source和Sink之间的缓冲区。

线程安全，允许Source和Sink运作速率不同。

不仅只是简单的一对一，支持多个Source的写入，也支持多个Sink的读取。

3.5.Sink

Sink通过不断的轮询Channel中的事件，批量的移除它们并将这些事件批量写入到存储系统或者其他目的地。常见的目的地有hadoop中的hdfs和消息队列kafka。

4.架构

4.1常规配置

# 声明agent为a1，由于agent包含3个部分
# 声明sources为r1
# 声明sinks为k1
# 声明channels为c1
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 配置数据源sources，这里使用的官方案例监听端口44444的数据
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 配置sinks，表示输出目的地是控制台logger类型
a1.sinks.k1.type = logger

# 配置channel，使用内存型，总容量1000个event，传输时收集到了100条event以后再去提交事务
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 把sources和sinks绑定在channel上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

①我们观察细节，我们发现声明agent的时候source、sink、channel后面都加了s，说明一个agent里面可以有多个source、sink、channel，书写格式如下：

a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2

②另外，我们观察绑定的时候，发现sources后面的channels加了s，而sinks没有，说明一个source可以绑定多个channel，而一个sink只能绑定一个channel。当然一个channel可以绑定多个sink。

③关于上面配置channel的时候，我们使用了内存型，flume自带两种channel：Memory Channel（内存中的队列，程序死亡、机器宕机或者重启会导致数据丢失）和File channel（写到磁盘，程序关闭或者机器宕机不会丢失数据）。

至于在配置其他数据源source和输出目的地的具体参数与方式可以参照官方文档，因为类型多参数多也没有全部记住的必要，并且官方文档也很详细。

④上面提到的配置需要写在flume的配置文件中，然后启动命令基本是固定的

#-n后面的a1代表配置文件中声明的agent的名字
#-c是固定的接conf/
#-f 后面接的是我们写的配置文件的路径，不过一般最好写在job文件夹下，且文件后缀命名为conf（方便管理与查找）
bin/flume-ng agent -n a1 -c conf/ -f job/配置文件名.conf

4.2事务

4.2.1流程图

4.2.1Put事务流程

doPut：将批数据先写入临时缓冲区putList

doCommit：检查channel内存队列是否足够合并

doRollback：channel内存队列空间不足，回滚数据

4.2.2Take事务流程

doTake：将数据取到临时缓冲区takeList，并将数据发送到目的地。

doCommit：如果数据全部发送成功，则清除临时缓冲区takeList

doRollback：数据发送过程中如果出现异常，rollback将临时缓冲区takeList中的数据归还给channel内存队列。

4.3内部流程

4.3.1流程图

4.3.2Channel Selectors

选出Event将要被发往哪个Channel。有两种类型：Replicating和Multiplexing（多路复用）

Replicating：将同一Event发往所有的Channel；

Multiplexing：能配置不同的Event发往不同的Channel。

4.3.3SinkProcessor

作用在sink组件上的容错机制。有三种类型：DefaultSinkProcessor、LoadBalancingSinkProcessor、FailoverSinkProcessor。

DefaultSinkProcessor：对应单个Sink，比较普通。

LoadBalancingSinkProcessor：对应Sink Group，实现负载均衡的功能（一起分摊一下）。

FailoverSinkProcessor：对应Sink Group，实现故障转移的功能（一个坏了用另一个），类似于HDFS中Namenode中高可用。