Channels 是一个 Agent上存储 events 的仓库,Source 向其中添加 events,而 Sink从中取走移除 events。本文重点介绍memory channel和file channel。
1、memory channel:
Source 添加的 events 都暂存在内存队列中,它非常适合那些需要更高吞吐量的数据流,但代价是一旦一个 agent 失败后,其中存储的events数据将会丢失。而且memory channel有内存大小的限制。
属性名 | 默认值 | 描述 |
---|---|---|
channels | - | |
type | - | 组件类型名称必须是memory |
capacity | 100 | 存储在 Channel 当中的最大 events 数 |
transactionCapacity | 100 | 同时刻从Source 获取,或发送到 Sink 的最大 events 数 |
keep-alive | 3 | 添加或删除一个 event 超时的秒数 |
byteCapacityBufferPercentage | 20 | 定义缓存百分比 |
byteCapacity | 20000 | 最大内存所有事物允许总字节数 |
agent1.channels.mc1.type = memory
agent1.channels.mc1.capacity = 10000
agent1.channels.mc1.transactionCapacity = 10000
agent1.channels.mc1.keep-alive = 60
2、file channel:
对于大多数数据分析来说,日志丢失是不可忍受的,所以,现在线上使用最多的Channel,就是File Channel。在大多数系统的设计中,为了保证高吞吐量,都会允许一小部分数据损失(比如每隔几秒再进行刷盘操作,将缓冲区的数据写如磁盘文件),但File Channel没有这样设计,它通过在一次事务中提交多个Event来提高吞吐量,做到了只要事务被提交,那么数据就不会有丢失。但需要注意,Flume Channel是没有数据副本的,意味着如果磁盘损坏,那么数据就无法恢复了。
agent1.channels.mc1.type = file
agent1.channels.mc1.checkpointDir = /data/flume/ckdir/mc1_ck
agent1.channels.mc1.dataDirs = /data/flume/datadir/mc1_data
可以看到,上图中设置了两个目录,第一个是检查点的目录(checkpointDir),第二个是数据的目录(dataDirs)。那么,检查点是做什么用的?我们知道,在File Channel中,有一个内存队列来保存已被Source写入但还未被Sink消费的Event数据的指针,Event指针指向的就是Event在数据目录下数据文件中存放位置,所以,你很自然的就能想到检查点指的就是内存队列在某一稳定时刻的“快照”,而且每隔一段时间(checkpointInterval)File Channel会将内存队列持久化到磁盘文件,也就是我们配置的检查点目录下。为了保证内存队列“快照”的完整性,再将内存队列持久到磁盘文件时需要锁定内存队列,就是说此过程不Source不能写Channel,Sink也不能读Channel。你没猜错,上面的backupCheckpointDir就是检查点目录的备份目录,因为检查点文件是经常读写的,很容易在Flume Crash时导致文件损坏,所以如果要做到快速恢复,就可以给检查点配置一个复本。
参数名称 | 默认值 | 描述 |
type | - | 类型名称 |
checkpointDir | ~/.flume/file-channel/checkpoint | 检测点文件所存储的目录 |
useDualCheckpoints | false | 备份检测点如果设置为true,backupChec kpointDir必须设置 |
backupCheckpointDir | – | 备份检测点的备份到所在的目录,不要与数据检测点或者目录重复 |
dataDirs | ~/.flume/file-channel/data | 数据存储所在的目录设置 |
transactionCapacity | 1000 | 事务容量的最大值设置 |
checkpointInterval | 30000 | 检测点之间的时间值设置(单位微秒) |
maxFileSize | 2146435071 | 一个单一日志的最大值设置(以字节为单位) |
minimumRequiredSpace | 524288000 | 最小的请求闲置空间(以字节为单位) |
capacity | 1000000 | 隧道的最大容量 |
keep-alive | 3 | 一个存放操作的等待时间值(秒)设置 |
write-timeout | 3 | 一个写操作的等待时间值(秒)设置 |
checkpoint-timeout | 600 | Expert:一个检测点操作的等待时间值(秒)设置 |
use-log-replay-v1 | false | Expert: 使用老的回复逻辑 |
use-fast-replay | false | Expert: 回复不需要队列 |
encryption.activeKey | – | 使用关键字名称去加密新数据 |
encryption.cipherProvider | – | 密码提供者类型,支持的类型有: AESCTRNOPADDING |
encryption.keyProvider | – | 关键字提供者类型,支持的类型有: JCEKSFILE |
encryption.keyProvider.keyStoreFile | – | 存储关键字文件的路径 |
encrpytion.keyProvider.keyStorePasswordFile | – | 存储关键字密钥文件的路径 |
encryption.keyProvider.keys | – | 列出所有的关键字(比如,激活关键字设置历史) |
encyption.keyProvider.keys.*.passwordFile | – | 可选关键字密钥文件的路径 |
http://flume.apache.org/FlumeUserGuide.html#file-channel