flume开发-自定义拦截器(Interceptor)

本文介绍了如何在Flume中开发自定义拦截器。拦截器在source和channel之间工作,允许在事件写入channel前进行转换或删除。遵循四个步骤:1) 创建Interceptor的子类;2) 打成jar包并放入flume的plugins.d目录;3) 配置source的interceptor type;4) 启动flume使拦截器生效。这样能对日志进行ETL处理。
摘要由CSDN通过智能技术生成

拦截器是简单的插件式组件,设置在source和channel之间。source接收到的时间,在写入channel之前,拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。flume官方实现了很多拦截器也可以自定义拦截器。通过实现自定义的拦截器可以对日志进行ETL。

自定义拦截器只需要实现Interceptor的继承类。具体步骤如下:


1. 实现一个Interceptor的继承类。下面的example实现了继承类ETLInterceptor. package 是com.test.flume .


//add begin
package com.test.flume;
//add end
import com.google.common.base.Charsets;
import com.google.common.collect.Lists;

import
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值