Flume如何自定义数据源

操作方式如下：

1、导入Flume的jar包

2、我们需要使用一个类继承AbstractSource，并实现Configurable,PollableSource两个接口，重写的方法中，process方法就是我们自定义数据具体流程实现的方法，书写流程一般都是在Processor方法中实现

3、书写时先调用继承来的getChannelProcessor方法获得ChannelProcessor对象，其次准备Status枚举类，生成数据使用的是SimpleEvent类的对象，这个对象的set*方法装载数据，该类也是event的子类，之后要将该对象交给ChannelProcessor对象的processEvent方法，最后使用先前准备的status对象承载枚举值Status.READY，表示数据准备好可以发送，也可以通过其他方式如try等防止发生错误，当然处理错误的时候要将status的值改为Status.BACKOFF，标识数据发生异常不发送

继承来的还有其他方法，如下

getBackOffSleepIncrement方法是向channel推送数据失败之后等待的时长，这个时长会累加所以尽量设置的小一些

getMaxBackOffSleepInterval是上个方法一旦累加到多长时间就放弃推送该数据

configure和之前一样用来获取agent配置文件中的配置

使用的时候打包jar，并发送到flume的lib目录下，那个Flume执行发送到那个Flume就可以，agent配置文件中source的类型设置为自定义source的全限定名就可以了

导入的jar如下

	<dependencies>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.7.0</version>
        </dependency>
    </dependencies>

代码如下

package wy;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.EventDeliveryException;
import org.apache.flume.PollableSource;
import org.apache.flume.channel.ChannelProcessor;
import org.apache.flume.conf.Configurable;
import org.apache.flume.event.SimpleEvent;
import org.apache.flume.source.AbstractSource;

import java.util.HashMap;

public class MySource extends AbstractSource implements Configurable,PollableSource{
    @Override
    public Status process() throws EventDeliveryException {
        ChannelProcessor channelProcessor = getChannelProcessor();
        Status status;
        try {
			//模拟生成一批数据，这里只生成5条，注意数据是用字符数组传递的
            for (int i =0 ;i <5 ;i++){
                Event event = new SimpleEvent();
                event.setBody(("test_"+i).getBytes());
                event.setHeaders(new HashMap<String,String>());
                channelProcessor.processEvent(event);
            }
            status=Status.READY;
        }catch (Exception e){
			//如果发生异常这一批数据将失效
            status=Status.BACKOFF;
        }

        return status;
    }

    @Override
    public long getBackOffSleepIncrement() {
        return 0;
    }

    @Override
    public long getMaxBackOffSleepInterval() {
        return 0;
    }

    @Override
    public void configure(Context context) {

    }
}