Flume --文件通道(file channel)

文件通道是Flume的持久通道。它将所有事件写入磁盘,因此不会丢失进程或机器关机或崩溃的数据。文件通道可确保任何提交到通道的事件只有在接收到事件并提交事务时才会从通道中删除,即使机器或代理程序崩溃并重新启动。它被设计为高度并发,同时处理多个source和sink。
     文件通道设计用于需要数据持久性和不能容忍数据丢失的情况。由于通道将数据写入磁盘,因此不会在数据崩溃或失败时丢失数据。由于将数据写入磁盘的事实,额外的一个好处是,该通道可以具有非常大的容量,特别是与内存通道相比。
     只要磁盘空间可用,文件通道可以具有极大的容量,高达数十或数亿的事件。这是非常有用的,当预期从渠道获取的汇款将无法跟上有限的高峰期,并且大量积压的事件是可能的。如果配置正确,文件通道也可以处理更长的下游停机时间。由于通道在事件提交后不会将内存保留在内存中,因此与等效容量的内存通道相比,占用的空间要少得多。
文件通道保证写入的每个事件将通过代理和机器故障或重新启动而可用。它通过写出将通道放入磁盘的每个事件来实现。一旦提交了一个事务,该事务中的事件就可用于执行。这些事件从磁盘读取,并在从通道获取时传递给接收器,并且完全取消引用,并在提交交易事件后有资格删除。
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值