Flume 总结（六）selectors类型-1.9.0新版

最新推荐文章于 2024-08-08 19:06:19 发布

闻香识代码

最新推荐文章于 2024-08-08 19:06:19 发布

阅读量285

点赞数

分类专栏： flume 行为日志大数据文章标签： flume 分布式 cloudera 大数据

本文链接：https://blog.csdn.net/xiaohu21/article/details/109005911

版权

本文总结了Flume 1.9.0版本中的Selectors类型，包括默认的Replicating Channel Selector，多路分发的Multiplexing Channel Selector，以及允许自定义的Custom Channel Selector。Replicating Channel Selector适用于一级agent配置，而Multiplexing Channel Selector在需要对混合日志数据分类处理时发挥作用，通常配合Interceptor进行数据标记。文章还给出了不同Selector的配置示例。

摘要由CSDN通过智能技术生成

Flume 总结（六）selectors类型-1.9.0新版

1. selectors

在这里插入图片描述

Replicating Channel Selector (default)

一级agent配置

# Name the components on this agent  
# Flume agent配置
# 按照上述示意图,就是一个agent(a1)中,2个channel,2个sink
a1.sources = r1  
a1.sinks = k1 k2  
a1.channels = c1 c2  
   
# http source, with replicating selector 
# 这里可以看出,数据从source出来后,以replicating方式,也就是复制方式进入2个channel c1 c2中 
a1.sources.r1.type = http
a1.sources.r1.port = 6666 
a1.