Flume 学习笔记（四）自定义Source 与自定义 Sink 案例以及测试

最新推荐文章于 2022-04-07 09:54:09 发布

「已注销」

最新推荐文章于 2022-04-07 09:54:09 发布

阅读量1.5k

点赞数

分类专栏：学习笔记文章标签： flume

本文链接：https://blog.csdn.net/Unirithe/article/details/123625014

版权

本文详细介绍了在CentOS7环境下，如何自定义Flume的Source和Sink。包括自定义Source的程序实现、Flume配置及测试，自定义Sink的编写、配置和测试过程。测试结果显示自定义组件功能正常。

摘要由CSDN通过智能技术生成

若发现文章有误，敬请指教，感谢

文章目录

参考资料

一、运行环境

二、自定义Source

2.1 程序具体实现

2.2 Flume配置

2.3 测试

三、自定义Sink

3.1 编写程序

3.2 Flume配置

3.3 测试

参考资料

视频链接

一、运行环境

CentOS7
JDK8
Flume1.9

二、自定义Source

2.1 程序具体实现

导入依赖：pom.xml

<dependency>
    <groupId>org.apache.flume</groupId>
    <artifactId>flume-ng-core</artifactId>
    <version>1.9.0</version>
</dependency>

编写自定义的source：UniSource.java
注：必须继承AbstractSource，并实现Configurable和PollableSource接口

package com.uni.flume.source;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.EventDeliveryException;
import org.apache.flume.PollableSource;
import org.apache.flume.conf.Configurable;
import org.apache.flume.event.SimpleEvent;
import org.apache.flume.source.AbstractSource;

import java.util.HashMap;

/**
 * Author: Unirithe
 * Date: 2022/3/20
 **/
public class UniSource extends AbstractSource implements Configurable, PollableSource {
   
    // 声明数据源source的前后缀
    private String prefix;
    private String subfix;
    private Long delay