flume自定义source

一、
在使用flume采集日志时，可以通过flume进行监控某一个文件把生产的数据传输给指定的sink，但是有时使用官方给的source不能解决我们的需求或者有一些缺点，就比如日志收集，source是exec类型，通过tail -F 进行监控，但是如果某段时间flume所在机器宕机了，那么当重新启动后，在去监控时，会导致有数据丢失，不是接着上一次的数据继续进行读取，因此针对这种情况时可能需要我们自定一个source，记录偏移量，每次都都是接着上次继续读

二
下面就是具体实现的代码
再写代码时可以参照官方给的source的源码进行编写，比如ExecSource
flume的生命周期： 先执行构造器，再执行 config方法 --> start方法 --> processor.process–> stop
读取配置文件:(配置读取的文件内容：读取那个文件，编码及、偏移量写到那个文件，多长时间检测一下文件是否有新内容

import org.apache.commons.io.FileUtils;
import org.apache.flume.Context;
import org.apache.flume.EventDrivenSource;
import org.apache.flume.channel.ChannelProcessor;
import org.apache.flume.conf.Configurable;
import org.apache.flume.event.EventBuilder;
import org.apache.flume.source.AbstractSource;
import org.apache.flume.source.ExecSource;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.File;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.charset.Charset;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;


//自定义source，记录偏移量
    /*
    flume的生命周期： 先执行构造器，再执行 config方法 -> start方法-》 processor.process
    1、读取配置文件:(配置读取的文件内容：读取那个文件，编码及、偏移量写到那个文件，多长时间检测一下文件是否有新内容
    )
     */
public class TailFileSource extends AbstractSource implements EventDrivenSource, Configurable {
   
    //记录日志
    private static final Logger logger = LoggerFactory.getLogger(ExecSource.class);
    private String filePath;
    private String  charset