Flume
tswisdom
这个作者很懒,什么都没留下…
展开
-
Flume-ng生产环境实践(一)Flume-ng生产环境编译
1.首先在系统上安装jdk1.6+和mvn3.X: $ java -version java version "1.6.0_31"Java(TM) SE Runtime Environment (build 1.6.0_31-b04-415-11M3635)Java HotSpot(TM) 64-Bit Server VM (bu转载 2014-11-25 16:04:03 · 1442 阅读 · 0 评论 -
Flume-ng生产环境实践(二)flume-ng 测试过程中event丢失部分body数据
经过测试发现,当source端单event的body数据大于16字节后,输出到目标只剩下16字节。进过多源代码的分析,发现,源代码中进行了截取。在LoggerSink.java中:if (event != null) { if (logger.isInfoEnabled()) { logger.info("Event: " + EventHe转载 2014-11-25 16:06:32 · 3654 阅读 · 2 评论 -
Flume-ng生产环境实践(三)实现文件sink,按照固定格式目录输出
应用场景:需要实时收集多台服务器的nginx日志到一台机器。收集完成结果存放需要按天生成文件夹,按每5分钟生成文件,比如2012年12月29日12点26分的日志,需要放到/data/log/20121229/log-1225-对应的文件中。自己实现了类似flume-og和flume-ng的hdfs-sink的文件sink。使用的时候配置如下:agent.source转载 2014-11-25 16:09:35 · 15906 阅读 · 2 评论 -
Flume-ng生产环境实践(四)实现log格式化interceptor
续上篇,由于filesink中需要使用/data/log/%{dayStr}/log-%{hourStr}%{minStr}-这样文件格式的,为了使file-sink能使用%{dayStr}这样的标签,需要在数据传输过程中,给event的header中添加对应的键值对。在flume-ng中提供了很方便的方式:Interceptor以下为实现的interceptor,首先使用正则表达式匹配ngi转载 2014-11-25 16:12:05 · 5683 阅读 · 0 评论 -
Flume-NG中用到的一些好的文章
玖疯的博客:http://www.cnblogs.com/lxf20061900/category/565688.html原创 2014-11-25 20:36:42 · 968 阅读 · 1 评论