flume-ng
xiao_jun_0820
要自己每天都开心,不要烦恼
忘掉压力,天天好心情
展开
-
flume学习(一):log4j直接输出日志到flume
log4j.properties配置:log4j.rootLogger=INFOlog4j.category.com.besttone=INFO,flumelog4j.appender.flume = org.apache.flume.clients.log4jappender.Log4jAppenderlog4j.appender.flume.Hostname = loc原创 2014-07-16 14:05:56 · 20768 阅读 · 0 评论 -
七牛是如何搞定每天500亿条日志的
七牛是如何搞定每天500亿条日志的2015-07-31 CSDN 七牛云存储7月30日,七牛数据平台工程师王团结在CSDN Spark微信用户群,与近千名Spark技术开发人员,结合七牛内部使用的数据平台,深入分享了团队是如何利用Flume、Kafka、Spark Streaming等技术搞定每天500亿条日志的,并详细讲解了各个工具使用的注意点。王团结,主要负责七牛数转载 2015-08-04 13:39:32 · 3272 阅读 · 0 评论 -
cloudera search1.0.0环境搭建(2):利用flume-ng的MorphlineSolrSink实现近实时(NRT)搜索
要实现近实时搜索,就必须有一种机制来实时的处理shuj原创 2014-11-03 16:24:24 · 5236 阅读 · 0 评论 -
flume学习(十一):如何使用Spooling Directory Source
最近在弄一个信令数据汇聚的事情,主要目的是把FTP上的信令数据汇聚到HDFS上去存储。 逻辑是这样的:把FTP服务器上的文件下载到一台主机上,然后SCP到另外一台主机上的Spooling Directory Source所监控的目录下面去,sink是hdfs(这里解释一下,由于网络环境的因素,另一台不能访问到内网的FTP服务器,所以只能这样中转一下)。嗯,想法不错,逻辑上看上去也应该没啥问题,原创 2014-11-28 15:55:33 · 22733 阅读 · 8 评论 -
flume 1.4.0 user guide
NavigationindexApache Flume documentation »Flume 1.4.0 User Guide¶Introduction¶Overview¶Apache Flume is a distributed, reliable, and available system for efficiently collec转载 2014-11-17 15:06:53 · 3605 阅读 · 0 评论 -
Cloudera Morphlines Reference Guide
转自:http://cloudera.github.io/cdk/docs/current/cdk-morphlines/morphlinesReferenceGuide.html转载 2014-10-29 09:04:01 · 5201 阅读 · 0 评论 -
flume学习(十):使用Morphline Interceptor
Morphline是干嘛用的?简单点说就是一个ETL工具,详细原创 2014-10-29 18:53:16 · 10179 阅读 · 3 评论 -
flume学习(九):自定义拦截器
还是针对学习八中的那个需求,我们现在换一种原创 2014-08-01 11:27:51 · 23458 阅读 · 8 评论 -
flume学习(八):自定义source
按照以往的惯例,还是需求驱动学习,原创 2014-07-31 14:16:04 · 30212 阅读 · 22 评论 -
flume学习(七):如何使用event header中的key值
前面我们已经说到我们在header中添加了一个原创 2014-07-29 14:32:44 · 10243 阅读 · 1 评论 -
flume学习(六):使用hive来分析flume收集的日志数据
前面已经讲过如何将log4j的日志shu原创 2014-07-25 16:36:26 · 13931 阅读 · 0 评论 -
flume学习(三):flume将log4j日志数据写入到hdfs
在第一篇文章中我们是将log4j原创 2014-07-25 10:59:30 · 22068 阅读 · 1 评论 -
flume学习(二):如何找到cm安装的flume的配置文件
通过CM安装好flume-ng之后,可以在管理界面上修改flume.conf配置,但是原创 2014-07-25 10:30:03 · 5953 阅读 · 0 评论 -
flume学习(五):Flume Channel Selectors使用
前几篇文章只有一个app的日志,原创 2014-07-25 14:50:43 · 21071 阅读 · 2 评论 -
flume学习(四):Flume Interceptors的使用
对于flume拦截器,我的理解是:原创 2014-07-25 11:43:44 · 33712 阅读 · 2 评论 -
flume开发环境搭建
有朋友提问flume开发环境怎么搭建的,给个pom文件放着,只能帮到这了<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 htt原创 2016-02-03 10:59:55 · 4121 阅读 · 2 评论