flume
文章平均质量分 59
Nougats
这个作者很懒,什么都没留下…
展开
-
kafka flume生产日志到指定的kafka partition
Flume+Kafka集成,将不同级别的日志生产到Kafka Topic不同的Partition中conf文件#Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = spool原创 2017-07-10 00:46:35 · 2333 阅读 · 0 评论 -
flume 自定义拦截器实现多行读取日志
需求给定一个日志文件,把日志中DEBUG、INFO、WARN、ERROR日志按照不同文件夹、日志日期进行区分。输出到HDFS中 例:2016-07-08 09:33:52 INFO 日志,需要放在hdfs://flume/2016-07-08/INFO文件夹下。解决办法1. RegexExtractorInterceptorMillisSerializer原创 2017-05-04 21:11:25 · 7335 阅读 · 1 评论