Flume配置文件详解

最新推荐文章于 2024-07-18 21:37:27 发布

香蕉牛奶蛇皮走位

最新推荐文章于 2024-07-18 21:37:27 发布

阅读量2.6k

点赞数 1

本文链接：https://blog.csdn.net/qq_38326500/article/details/109362317

版权

本文详细介绍了Flume的配置文件，包括Source的Avro Source和Exec Source，Channel的Memory Channel、File Channel以及常用的Spillable Memory Channel，以及Sink的Avro Sink。重点讲解了每种组件的配置选项和作用，如Avro Source的监听配置，Exec Source的shell命令数据源，Spillable Memory Channel的内存和磁盘容量设置，以及Avro Sink的数据发送目标。

摘要由CSDN通过智能技术生成

Flume配置文件详解
1.基本组成

(1)source 是flume获取数据的部分，source的类型有很多种，这里只介绍两种我们常用的。
1.Avro Source：监听节点上的某个端口，负责接收被监听端口的Avro流事件作为数据源。我们cbas的flume集群组的source类型大多是这种。
配置方式如下：
xxx.sources = r1 定义一个名为r1的source
xxx.channels = c1 定义一个名为c1的channel
xxx.sources.r1.type = avro 指定r1的类型为avro
xxx.sources.r1.channels = c1 指定r1的channel为c1，意思是，r1获取的数据会放到c1这个临时通道中
如果一个source对应多个channel,则可以这样写：xxx.sources.r1.channels = c1 c2 c3 c4
xxx.sources.r1.bind = 0.0.0.0 监听的主机ip,默认0.0.0.0
xxx.sources.r1.port = 33333 监听端口，默认4141，cbas这边一般配置成33333
拦截器配置（event的header中添加自定义的key和value ）：
xxx.sources.r1.interceptors = i7
xxx.sources.r1.interceptors.i7.type = static
xxx.sources.r1.interceptors.i7.key = type_log
xxx.sources.r1.interceptors.i7.value = pcNew_c10
2.Exec Source：通过执行一个给定的shell指令&#x