flume中三大高级组件

最新推荐文章于 2023-04-10 13:28:40 发布

乔尼娜沙德星

最新推荐文章于 2023-04-10 13:28:40 发布

阅读量980

点赞数

本文链接：https://blog.csdn.net/qq_35315363/article/details/96177621

版权

本文介绍了Apache Flume的三个高级组件：拦截器、通道选择器和处理器。拦截器包括Timestamp Interceptor、Host Interceptor和Static Interceptor，用于数据过滤和包装。通道选择器如Replicating Channel Selector和Multiplexing Channel Selector决定了数据流向。处理器部分讨论了Failover Sink Processor和Load balancing Sink Processor，前者实现故障转移，后者实现负载均衡。

摘要由CSDN通过智能技术生成

flume中3大高级组件

官网：https://flume.apache.org

Flume Interceptors：拦截器，与Spring中拦截器是类似

官方解释：

功能：通过拦截器对每条数据进行过滤护着包装

Timestamp Interceptor：时间拦截器

在每一个event的头部添加一个KeyValue

key: timestamp

value:当前封装event的时间

Host Interceptor：主机名拦截器

在每一个event的头部添加一个KeyValue

key: host

value:当前封装event所在机器的主机名

Static Interceptor：自定义拦截器

a1.sources = r1
a1.channels = c1
a1.sources.r1.channels =  c1
a1.sources.r1.type = seq
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = static
a1.sources.r1.interceptors.i1.key = datacen