操作方式如下:
1、导入Flume的jar包
2、我们需要使用一个类继承AbstractSource,并实现Configurable,PollableSource两个接口,重写的方法中,process方法就是我们自定义数据具体流程实现的方法,书写流程一般都是在Processor方法中实现
3、书写时先调用继承来的getChannelProcessor方法获得ChannelProcessor对象,其次准备Status枚举类,生成数据使用的是SimpleEvent类的对象,这个对象的set*方法装载数据,该类也是event的子类,之后要将该对象交给ChannelProcessor对象的processEvent方法,最后使用先前准备的status对象承载枚举值Status.READY,表示数据准备好可以发送,也可以通过其他方式如try等防止发生错误,当然处理错误的时候要将status的值改为Status.BACKOFF,标识数据发生异常不发送
继承来的还有其他方法,如下
getBackOffSleepIncrement方法是向channel推送数据失败之后等待的时长,这个时长会累加所以尽量设置的小一些
getMaxBackOffSleepInterval是上个方法一旦累加到多长时间就放弃推送该数据
configure和之前一样用来获取agent配置文件中的配置
使用的时候打包jar,并发送到flume的lib目录下,那个Flume执行发送到那个Flume就可以,agent配置文件中source的类型设置为自定义source的全限定名就可以了
导入的jar如下
<dependencies>
<dependency>
<groupId>org.apache.flume</groupId>
<artifactId>flume-ng-core</artifactId>
<version>1.7.0</version>
</dependency>
</dependencies>
代码如下
package wy;
import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.EventDeliveryException;
import org.apache.flume.PollableSource;
import org.apache.flume.channel.ChannelProcessor;
import org.apache.flume.conf.Configurable;
import org.apache.flume.event.SimpleEvent;
import org.apache.flume.source.AbstractSource;
import java.util.HashMap;
public class MySource extends AbstractSource implements Configurable,PollableSource{
@Override
public Status process() throws EventDeliveryException {
ChannelProcessor channelProcessor = getChannelProcessor();
Status status;
try {
//模拟生成一批数据,这里只生成5条,注意数据是用字符数组传递的
for (int i =0 ;i <5 ;i++){
Event event = new SimpleEvent();
event.setBody(("test_"+i).getBytes());
event.setHeaders(new HashMap<String,String>());
channelProcessor.processEvent(event);
}
status=Status.READY;
}catch (Exception e){
//如果发生异常这一批数据将失效
status=Status.BACKOFF;
}
return status;
}
@Override
public long getBackOffSleepIncrement() {
return 0;
}
@Override
public long getMaxBackOffSleepInterval() {
return 0;
}
@Override
public void configure(Context context) {
}
}