Flume-NG
# Flume-NG
学要无止尽
任职于达摩院自动驾驶实验室;负责自动驾驶云端计算的架构和研发;
展开
-
Flume-ng生产环境实践(三)实现文件sink,按照固定格式目录输出
应用场景:需要实时收集多台服务器的nginx日志到一台机器。收集完成结果存放需要按天生成文件夹,按每5分钟生成文件,比如2012年12月29日12点26分的日志,需要放到/data/log/20121229/log-1225-对应的文件中。自己实现了类似flume-og和flume-ng的hdfs-sink的文件sink。使用的时候配置如下:agent.source转载 2014-08-05 17:54:42 · 1498 阅读 · 0 评论 -
Flume-ng生产环境实践(四)实现log格式化interceptor
续上篇,由于filesink中需要使用/data/log/%{dayStr}/log-%{hourStr}%{minStr}-这样文件格式的,为了使file-sink能使用%{dayStr}这样的标签,需要在数据传输过程中,给event的header中添加对应的键值对。在flume-ng中提供了很方便的方式:Interceptor以下为实现的interceptor,首先使用正则表达式匹配ngi转载 2014-08-05 17:55:26 · 935 阅读 · 0 评论