本文详细介绍了Apache Flume中的Interceptor（拦截器）、selector（选择器）和processor（处理器）。拦截器允许在事件headers中添加特定信息，如时间戳、主机IP等。选择器用于根据headers的key将数据发送到不同的channel，例如Multiplexing Channel Selector。处理器则涉及负载均衡和故障转移策略，确保数据可靠传输。
Inteceptor
在flume中可以针对source定义拦截器，通过拦截器可以加入指定的信息然后在event的headers中就可以看到我们指定的信息。
拦截器种类：
Timestamp Interceptor
在headers中加一个时间戳可以知道日志的时间便于后期处理。
Host Interceptor
将当前source所在主机的ip加入headers中。
type：拦截器的类型，必须为host
preserveExisting：如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false
useIP：如果设置为true则使用ip地址，否则使用主机名，默认为true
hostHeader：使用的header的key名字，默认为host
Static Interceptor
固定一些key，value，source过来的数据经过此拦截器时就会被打上此标志。
type：avrosource的类型，必须是static。
preserveExisting:如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false
key:静态拦截器添加的key的名字
value:静态拦截器添加的key对应的value值
UUIDInterceptor
<
最低0.47元/天 解锁文章
扫一扫
8875
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
