
flume
javastart
专注于大数据 AI
展开
-
Spark Streaming+Flume对接实验(推送)
Spark Streaming+Flume对接实验 软件环境: flume-ng-core-1.4.0-cdh5.0.0 spark-1.2.0-bin-hadoop2.3 流程说明: Spark Streaming: 使用spark-streaming-flume_2.10-1.2.0插件,启动一个avro source,用来接收数据,并做相应的处理;Flume agent:sou转载 2016-03-02 14:52:53 · 1181 阅读 · 0 评论 -
Flume-ng HDFS sink原理解析
Flume-ng HDFS sink原理解析 2013-09-18 11:41:25 标签:flume hdfs sink 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://boylook.blog.51cto.com/7934327/1298627 http://boylook.itpub.net/po转载 2016-05-17 15:31:08 · 826 阅读 · 0 评论 -
Flume-ng HDFS Sink “丢数据”
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://boylook.blog.51cto.com/7934327/1308188 线上对Flume流入HDFS配置path:p1,每分钟切一个文件,定期从p1从move完成的(rename)文件到外部表进行计算分析,发现有“丢数据”现象:即在p1下经常看到几GB的.t转载 2016-05-17 15:48:26 · 4301 阅读 · 0 评论 -
Flume-NG(1.5版本)中SpillableMemoryChannel源码级分析 - 玖疯
Flume-NG(1.5版本)中SpillableMemoryChannel源码级分析 - 玖疯 时间 2014-07-04 23:04:00 博客园精华区 原文 http://www.cnblogs.com/lxf20061900/p/3813492.html 主题 Flume 双端队列 SpillableMemoryChannel是1.5版本新增转载 2016-05-20 13:38:47 · 734 阅读 · 0 评论