flume 自定义拦截器实现多行读取日志

需求

给定一个日志文件，把日志中DEBUG、INFO、WARN、ERROR日志按照不同文件夹、日志日期进行区分。输出到HDFS中
例：2016-07-08 09:33:52 INFO 日志，需要放在hdfs://flume/2016-07-08/INFO文件夹下。

解决办法

1.
使用Spooling Directory Source 读取日志文件
Spooling Directory Source 可以监测配置的目录下新增的文件，并将文件中的数据读取出来。

2.
使用Regex Filtering Interceptor 拦截器（a1.sources.r1.interceptors.i1.type =regex_filter）从每行日志中抽取时间和日志类型信息

使用RegexExtractorInterceptorMillisSerializer将抽取出的时间信息根据指明的格式转为时间戳，写入到header中，key为timestamp，将类型信息写入到header中，key为type

3.
hdfs sink从header中取出时间戳和日志类型信息，将日志输出到对应的hdfs目录

关键问题

flume读取日志是按行读取，无法进行多行读取，当出现如下日志时将无法读到日志的正确时间与类型信息,所以我们需要有一种可以多行读取日志信息的办法,这里采用自定义拦截器的方法

2016-07-28 15:49:05-[Analysis-WC] ERROR [http-8080-2] ControllerProxy.afterMethod(43) | java.lang.NullPointerException
java.lang.NullPointerException
    at com.ap.alt.system.web.LoginMgrController.getSumMXYJTC(LoginMgrController.java:304)
    at sun.reflect.GeneratedMethodAccessor33.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)

自定义拦截器

只修改public List intercept(List events)方法,该方法对读取到的每行event,调用public