flume自定义拦截器和自定义source

最新推荐文章于 2024-08-06 22:24:16 发布

kClown1

最新推荐文章于 2024-08-06 22:24:16 发布

阅读量959

点赞数 1

本文链接：https://blog.csdn.net/qq_43227570/article/details/90295525

版权

本文介绍了如何在Flume中实现自定义拦截器和source。拦截器部分讲解了静态拦截器和时间戳拦截器，重点在于创建实现Interceptor接口的类并配置flume.conf。自定义source部分说明了需要继承AbstractSource并实现Configurable和EventDrivenSource或PollableSource接口，同时提到了所需的Flume相关jar包和配置方法。

摘要由CSDN通过智能技术生成

拦截器

拦截器是处理从source到channel的的数据处理

静态拦截器：
#指定拦截器的名字

   a1.sources.r1.interceptors = i1
    a1.sources.r1.interceptors.i1.type = static
    #指定键的名称
    a1.sources.r1.interceptors.i1.key = type
    #指定值得名称
    a1.sources.r1.interceptors.i1.value = access

可以通过%{type}获取对应的值

时间戳拦截器：

 ```
 a1.sinks.k1.hdfs.useLocalTimeStamp = true
 ```

自定义拦截器：
流程：
- 新建一个类，实现Interceptor接口，重写intercept(Event event)方法
- 新建一个类，实现Interceptor.Builder接口，重写configure(Context context)和build()方法
- 打成jar包放到flume的lib目录下
- 编写相应的flume.conf文件，将type值使用类的全限定名指定我们的拦截器。如果有自定义属性，需要配置该自定义属性。
```
#加入的依赖
<dependencies>
    <dependency>
        <groupId>org.apache.flume</groupId>
    
```