![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
胡子球手
谦虚请教
展开
-
Flume详解(二)的Flume agent内部原理
Source将数据写入Channel ,先经过Channel处理器,Channel处理器将这些事件传到一个或多个Source配置的拦截器中。拦截器是一段代码,可以基于某些它完成的处理来读取事件和修改或删除事件。基于某些标准,如正则表达式,拦截器可以用来删除事件。一旦拦截器处理完事件,拦截器链返回的事件列表传递到Channel列表,即通过Channel 选择器为每个事件选择的Channel。(拦截器不能写太复杂的逻辑,影响效率)Source 可以通过处理器-拦截器-选择器路由写入多个 Channel。.原创 2020-06-29 14:21:35 · 1200 阅读 · 0 评论 -
Flume详解(一)
1、Flume 定义Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传 输的系统。Flume 基于流式架构,灵活简单。2、为什么选用flumeflume的主要功能:就是实时读取服务器本地磁盘的数据,将数据写入到HDFS上3、Flume 组成架构简易架构图详细架构图...原创 2020-06-29 10:21:00 · 10098 阅读 · 0 评论