flume
xinlangtianxia
这个作者很懒,什么都没留下…
展开
-
flume的级别的架构使用--实际场景应用--可以用于分布式的服务形式的日志采集
首先这个是我的原创文章,也参考了网络上的各位大神的文章加上自己的总结,欢迎各位大神指出错误!我们共同进步!flume级别的架构使用(常用模式)直接上干货,文字性的描述有1.介绍:log是各个分布式服务的日志,可用从web的service产生的logSource组件(每一个的)都是采集不同的service的服务的logchannel组件(每一个的)都是接收不同sour原创 2016-05-21 13:07:13 · 1676 阅读 · 0 评论 -
flume学习(十一):如何使用Spooling Directory Source
问题导读1.如何理解将FTP上的信令数据汇聚到HDFS上去存储?2.使用Spooling Directory Source的时候同时读写一个文件会怎样?最近在弄一个信令数据汇聚的事情,主要目的是把FTP上的信令数据汇聚到HDFS上去存储。 逻辑是这样的:把FTP服务器上的文件下载到一台主机上,然后SCP到另外一台主机上的Spooling Dire转载 2016-05-21 21:10:45 · 609 阅读 · 0 评论 -
flume学习(十):使用Morphline Interceptor
问题导读1.Morphline是干嘛用的?2.如何将message属性添加到event的headers当中?Morphline是干嘛用的?简单点说就是一个ETL工具,详细介绍:http://kitesdk.org/docs/current/ ... ReferenceGuide.html这里有一个注意点,是和cloudera search版本有关转载 2016-05-21 21:09:50 · 615 阅读 · 0 评论 -
flume学习(九):自定义拦截器
问题导读1.如何添加拦截器RegexExtractorExtInterceptor?2.改动的内容中是如何增加两个配置参数?还是针对学习八中的那个需求,我们现在换一种实现方式,采用拦截器来实现。先回想一下,spooldir source可以将文件名作为header中的key:basename写入到event的header当中去。试想一下,如果转载 2016-05-21 21:08:55 · 1051 阅读 · 0 评论 -
flume学习(七)、(八):如何使用event header中的key值以及自定义source
问题导读1.如何使用event header中的key值?2.如何部署扩展自定义的spooling directory source?前面我们已经说到我们在header中添加了一个key为:flume.client.log4j.logger.source ,然后有两个应用程序,一个设置为app1,一个设置为app2。现在有这么一个需求,要将ap转载 2016-05-21 21:07:48 · 1716 阅读 · 0 评论 -
flume学习(六):使用hive来分析flume收集的日志数据
问题导读1.遇到无法转换成JSON对象的字符串时应如何处理?2.遇到非JSON格式输入的时候应如何处理?前面已经讲过如何将log4j的日志输出到指定的hdfs目录,我们前面的指定目录为/flume/events。如果想用hive来分析采集来的日志,我们可以将/flume/events下面的日志数据都load到hive中的表当中去。如果了解hi转载 2016-05-21 21:06:12 · 406 阅读 · 0 评论 -
flume学习(五):flume将log4j日志数据写入到hdfs
问题导读1.将log4j的日志输出到agent的日志文件当中,应如何配置文件?2.把log4j的日志直接采集输出到hdfs中去,如何修改flume.conf中sink的配置?在第一篇文章中我们是将log4j的日志输出到了agent的日志文件当中。配置文件如下:tier1.sources=source1tier1.chann转载 2016-05-21 21:04:47 · 403 阅读 · 0 评论 -
flume学习(四):Flume Channel Selectors使用
问题导读1、怎样将不同项目的的日志输出到不同的channel?2、如何理解一个sink为hdfs,一个sink为logger的拓扑结构?3、怎样在Log4jExtAppender.java类里扩展一个参数?前几篇文章只有一个项目的日志,现在我们考虑多个项目的日志的收集,我拷贝了一份flumedemo项目,重命名为flumedemo2,添加了一个WriteLog2转载 2016-05-21 21:02:56 · 976 阅读 · 0 评论 -
flume学习(三):Flume Interceptors的使用
问题导读1、如何理解flume拦截器?2、如何使用regex_filter和 timestamp这两个拦截器来实现一个较强的功能?3、怎样为source1添加了两个拦截器?对于flume拦截器,我的理解是:在app(应用程序日志)和 source 之间的,对app日志进行拦截处理的。也即在日志进入到source之前,对日志进行一些包装、清新过滤等等动作。转载 2016-05-21 21:01:40 · 373 阅读 · 0 评论 -
flume学习(二):如何找到cm安装的flume的配置文件
问题导读1、如何将log4j的日志输出到agent的日志文件当中?2、怎么将sink的type由logger变为hdfs?3、报错?你给目录授权了吗?通过CM安装好flume-ng之后,可以在管理界面上修改flume.conf配置,但是 /etc/flume-ng/conf目录下的flume.conf文件却空空如也。由于对CM的运行原理不了解,搞不明白我修改的配转载 2016-05-21 21:00:07 · 661 阅读 · 0 评论 -
flume学习(一):log4j直接输出日志到flume
问题导读1、如何让log4j直接输出日志到flume?2、如何写一个简单的测试类来测试呢?3、如何看到log4j的日志是否输出到了flume中?log4j.properties配置:log4j.rootLogger=INFOlog4j.category.com.besttone=INFO,flumelog4j.append转载 2016-05-21 20:58:34 · 464 阅读 · 0 评论 -
flume版本的选择
jdk1.7.48 +flume 1.6.0即可原创 2016-05-21 21:21:00 · 2598 阅读 · 0 评论