前一篇文章《Flume简介与安装》已经介绍了Flume的相关知识,也提到了Flume的各个环节是解耦的,那么如果实际开发需要自定义开发组件呢?大概流程是怎样的?
下面以输出到PostgreSQL为例说明开发新组件的方法。
首先简单介绍PostgreSQL:PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统(ORDBMS),是以加州大学计算机系开发的POSTGRES,4.2版本为基础的对象关系型数据库管理系统。POSTGRES的许多领先概念只是在比较迟的时候才出现在商业网站数据库中。PostgreSQL支持大部分的SQL标准并且提供了很多其他现代特性,如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等。同样,PostgreSQL也可以用许多方法扩展,例如通过增加新的数据类型、函数、操作符、聚集函数、索引方法、过程语言等。另外,因为许可证的灵活,任何人都可以以任何目的免费使用、修改和分发PostgreSQL。
接下来就是开发过程了:
1. 核心代码
sink的实现需要start()、stop()、process()和configure()这四个方法,分别实现启动、结束、处理和取参数的功能。
具体代码如下:
package org.apache.flume.sink.pgsql;
import com.google.common.base.Preconditions;
import org.apache.flume.Channel;
import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.EventDeliveryException;
import org.apache.flume.Transaction;
import org.apache.flume.conf.Configurable;
import org.apache.flume.sink.AbstractSink;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import java.sql.*;
// 类需要继承AbstractSink这个类和Configurable这个接口public class PGSQLSink extends AbstractSink implements Configurable {