apache flume-ng做agent拦截器可以输出IP

最新推荐文章于 2021-03-31 17:50:16 发布

MiniCTO

最新推荐文章于 2021-03-31 17:50:16 发布

阅读量1.8k

点赞数

分类专栏： flume 日志文章标签： apache flume 日志

本文链接：https://blog.csdn.net/minicto/article/details/53885068

版权

在flume日志收集过程中，为了解决识别日志来源机器的问题，通过自定义一个名为AppendIPInterceptor的flume拦截器来实现。拦截器在事件(event)的body中附加IP地址，确保每条日志都能标识其原始机器。配置中，AppendIPBuilder作为拦截器的启动类，并在flume.conf中指定。虽然性能影响尚未测试，但此方法能有效定位日志来源。

摘要由CSDN通过智能技术生成

最近在做flume日志收集工作，需要将每台日机器上的日志收集，然后发送到kafka，接着有专门的日志处理程序从kafka中进行消费，其中有个问题就是在消费的时候需要知道当前的日志来自哪台机器，查阅了flume文档发现没有提供该功能，因此就自己定一个flume拦截器。基本的流程就是将日志内容从flume event中取出，然后拼接上自定义的IP，然后再将body设置到event中。

架构部署图如下

flume拦截器代码如下

AppendIPInterceptor

package com.eju.ess;

import java.util.List;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import com.google.common.base.Charsets;

public cl