Flume经典案例之自定义Sink

需求分析：

使用flume接收数据，并在Sink端给每条数据添加前缀和后缀，输出到控制台。

操作步骤：

1、打开IDEA，新建maven工程。

2、导入依赖

<dependency>
      <groupId>org.apache.flume</groupId>
      <artifactId>flume-ng-core</artifactId>
      <version>1.6.0</version>
</dependency>

3、编写代码

import org.apache.flume.*;
import org.apache.flume.conf.Configurable;
import org.apache.flume.sink.AbstractSink;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.Arrays;

public class MySink extends AbstractSink implements Configurable {
    //读取到的配置文件中的suffix的内容
    private String suffix;
    //获取logger对象，可以将数据日志的方式输出
    Logger logger = LoggerFactory.getLogger(MySink.class);

    /**
     * 核心方法，用来处理sink逻辑，将channel中的内容写出去
     * @return
     * @throws EventDeliveryException
     */
    @Override
    public Status process() throws EventDeliveryException {
        Status status = Status.READY;//表示成功输入一个或多个event
        //1、获取channel
        Channel channel  = getChannel();
        //2、从channel中获取事务
        Transaction transaction = channel.getTransaction();
        try {
            Event event = null;
            //2.1开启事务
            transaction.begin();
            //可能获取数据时没有获取到，所以下面的方法是用来保证读取到数据后在向logger中输出
            while(true){
                //3、获取数据
                event = channel.take();
                if (event!=null){
                    break;
                }
            }
            //4、将数据写出
            logger.info(new String(Arrays.toString(event.getBody())+suffix));
            //5、提交事务
            transaction.commit();
        } catch (ChannelException e) {
            status = Status.BACKOFF;//获取数据失败
            //事务回滚
            transaction.rollback();
        }finally {
            //事务关闭
            transaction.close();
        }
        return status;
    }

    /**
     * 获取上下文信息，用来读取配置文件中的内容
     * @param context
     */
    @Override
    public void configure(Context context) {
        suffix = context.getString("suffix", "test");

    }
}

4、打包代码
使用xftp将包传入Linux中，传入flume目录下的lib目录中。

5、编写配置文件autosink.conf
内容如下：

a1.sources=r1
a1.channels=c1 c2
a1.sinks=k1 k2

a1.sources.r1.type=netcat
a1.sources.r1.bind=node1
a1.sources.r1.port=44444

a1.channels.c1.type=memory

#自定义sink
a1.sinks.k1.type=cn.jit.MySink
#后缀
a1.sinks.k1.suffix=wanjialin

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

6、执行命令
进入到flume目录下，执行命令flume-ng agent -n a1 -c conf/ -f datas2/autosink.conf -Dflume.root.lo gger=INFO,console

7、查看输出内容