flume-ng-mysql-sink_Flume自定义Sink到PostgreSQL

前一篇文章《Flume简介与安装》已经介绍了Flume的相关知识，也提到了Flume的各个环节是解耦的，那么如果实际开发需要自定义开发组件呢？大概流程是怎样的？

下面以输出到PostgreSQL为例说明开发新组件的方法。

首先简单介绍PostgreSQL：PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统(ORDBMS)，是以加州大学计算机系开发的POSTGRES，4.2版本为基础的对象关系型数据库管理系统。POSTGRES的许多领先概念只是在比较迟的时候才出现在商业网站数据库中。PostgreSQL支持大部分的SQL标准并且提供了很多其他现代特性，如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等。同样，PostgreSQL也可以用许多方法扩展，例如通过增加新的数据类型、函数、操作符、聚集函数、索引方法、过程语言等。另外，因为许可证的灵活，任何人都可以以任何目的免费使用、修改和分发PostgreSQL。

接下来就是开发过程了：

1. 核心代码

sink的实现需要start()、stop()、process()和configure()这四个方法，分别实现启动、结束、处理和取参数的功能。

具体代码如下：

package org.apache.flume.sink.pgsql;

​

import com.google.common.base.Preconditions;

import org.apache.flume.Channel;

import org.apache.flume.Context;

import org.apache.flume.Event;

import org.apache.flume.EventDeliveryException;

import org.apache.flume.Transaction;

import org.apache.flume.conf.Configurable;

import org.apache.flume.sink.AbstractSink;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

​

import java.sql.*;

​

// 类需要继承AbstractSink这个类和Configurable这个接口public class PGSQLSink extends AbstractSink implements Configurable {