flume
mojolang
精品驿站
展开
-
flume学习(一):log4j直接输出日志到flume
摘要: log4j.properties配置: log4j.rootLogger=INFOlog4j.category.com.besttone=INFO,flumelog4j.appender.flume = org.log4j.properties配置:log4j.rootLogger=INFOlog4j.category.com.besttone=INFO,flume转载 2017-11-29 16:14:45 · 1006 阅读 · 0 评论 -
flume学习(三):flume将log4j日志数据写入到hdfs
在第一篇文章中我们是将log4j的日志输出到了agent的日志文件当中。配置文件如下:[plain] view plaincopytier1.sources=source1 tier1.channels=channel1 tier1.sinks=sink1 tier1.sources.source1.type=avro转载 2017-11-29 16:18:29 · 356 阅读 · 0 评论 -
flume学习(四):Flume Interceptors的使用
摘要: 对于flume拦截器,我的理解是:在app(应用程序日志)和 source 之间的,对app日志进行拦截处理的。也即在日志进入到source之前,对日志进行一些包装、清新过滤等等动作。 官方上提供的已有的拦截器有: Timestamp Interceptor Host Interceptor...对于flume拦截器,我的理解是:在app(应用程序日志)和 source 之间的转载 2017-11-29 16:23:48 · 397 阅读 · 0 评论 -
flume学习(五):Flume Channel Selectors使用
摘要: 前几篇文章只有一个项目的日志,现在我们考虑多个项目的日志的收集,我拷贝了一份flumedemo项目,重命名为flumedemo2,添加了一个WriteLog2.java类,稍微改动了一下JSON字符串的输出,将以前requestUrl中的”reporter-api”改为了”image-api”,以...前几篇文章只有一个项目的日志,现在我们考虑多个项目的日志的收集,我拷贝了一份转载 2017-11-29 16:25:27 · 420 阅读 · 0 评论 -
大数据系列之Flume+kafka 整合
关于Flume 的 一些核心概念:组件名称 功能介绍Agent代理使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。Client客户端生产数据,运行在一个独立的线程。Source源从Client收集数据,传递给Channel。转载 2018-01-05 02:49:25 · 503 阅读 · 0 评论