flume
蓝桥春水
这个作者很懒,什么都没留下…
展开
-
Flume的SpoolDirSource优化,自定义Deserializer
SpoolDirSource采集数据默认是按行采集的,在官网的配置中有LINE和AVRO两种配置。AVRO尚未了解 在采集单行数据量少的日志文件时,使用Line采集慢查看源码后发现实现原理非常简单直接 copy了LineDeserializer的代码将主要逻辑改为如下private String readLine() throws IOException { Strin...原创 2018-11-06 16:03:18 · 1159 阅读 · 0 评论 -
flume自定义拦截器,可限制采集速度
public class SpeedInterceptor implements Interceptor{ private static final Logger logger = LoggerFactory.getLogger(SpeedInterceptor.class); private static long KB = 1024L; private lon...原创 2019-04-01 17:01:03 · 805 阅读 · 0 评论