![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 68
小猿天地
大数据的菜鸟想飞
展开
-
Flume 事务处理过程详解
Flume 事务过程详解 主要事务处理过程: 1、Web Server :读数据,通过端口,本地文件读入数据。读取文件时有单个上传、批量上传以及断点续传模式。 2、Source :读数据,并将数据封装成事件。Source 将事务主动推入 Channel 中,而 Sink 是拉取事务。 3、Put 事务流程 doPut : 将批数据先写入临时缓冲区 putList doCommit : 检查 channel 内存队列是否足够合并 doRollBack : channel 内存队列空间不足,回滚数据 4、原创 2021-05-10 17:12:53 · 416 阅读 · 0 评论 -
Flume Agent 内部原理详解
Flume Agent 内部原理详解 一、过程 1、接收数据 2、处理事件 3、将事件传给拦截器链 4、将每个事件传递给 Cannel 选择器 Channel Selectors 有两种类型 : Replicating Channel Selector (default) 和 Multiplexing Channel Selector 。eplicating 会将source 过来的 events 发往所有 channel ,而 Multiplexing 可以配置发往哪些 Channel。 5、返回写原创 2021-05-10 18:13:08 · 373 阅读 · 2 评论