Flume 第三方插件使用说明

FLUME第三方jar的使用，解析事件里的时间，监控目录下的文件，连接elasticsearch 2.2。分别为一个拦截器、一个source和一个sink。

1.1     flume_EventTimeSamp.jar

用途：因为FLUME本身对时间戳的解析比较弱，该jar用于将事件中的时间提取解析成时间戳格式。

用法：配合flume自带的的正则解析器共同使用，通过正则匹配出来的时间字段转换成时间戳。

配置参数：

名称	配置	说明
type	org.apache.flume.interceptor.EventTimestampInterceptor$Builder	默认使用的类
preserveExisting	false	是否已有时间戳
dateFormatField	time	默认字段为time
dateFormat	MMM dd HH:mm:ss	指定时间格式

 

agent.sources.tail.interceptors=i1 i2

agent.sources.tail.interceptors.i1.type=regex_extractor

agent.sources.tail.interceptors.i1.regex = (\\w+\\s+\\w+\\s+\\d+\\\:\\d+\\\:\\d+)\\s+

agent.sources.tail.interceptors.i1.serializers = s1

agent.sources.tail.interceptors.i1.serializers.s1.name= time

agent.sources.tail.interceptors.i2.type =org.a