mapreduce
舒沉
葡萄酿成美酒,暂时变成永恒!
展开
-
HDFS的JAVA接口API操作实例
20:55 2010-6-2运行环境:Hadoop.0.20.2CentOS 5.4 java version "1.6.0_20-ea"配置的是单机Hadoop环境先看下我的运行截图主要参考这篇文章http://myjavanotebook.blogspot.com/2008/05/hadoop-fi转载 2012-09-03 23:12:04 · 1656 阅读 · 0 评论 -
Hadoop MapReduce之上传文件到HDFS
网络上转载与一个网友的评论,这里记录一下,以备不时之需//本地文件上传到HDFS上public static void upload(String src,String dst) throws FileNotFoundException,IOException{ InputStream in = new BufferedInputStream(new FileInputS转载 2012-08-01 13:52:36 · 5592 阅读 · 1 评论 -
Mapreduce Strips算法 实现
终于实现Strips算法了,蛋疼啊。分享部分代码,只是为了实现基本功能,异常捕获处理什么的等细节都没考虑。为了和算法描述一致,在Map类cleanup函数中又化归了一下。如果不要求严格的话,直接可以省略这一步,在Reduce中再处理。粘帖如下:Map类: public static class MyMap extends Mapper { pr原创 2012-07-27 16:53:32 · 1393 阅读 · 0 评论 -
Hadoop_Map中获取当前spilt文件名
有时候需要在Map类中的map函数中获取当前split所读取的文件名。在旧版mapred下面实现方法如下:// 获得输入文件的路径名String path=((FileSplit)reporter.getInputSplit()).getPath().toString();//使用Reporter reporter对象来获取,在新版mapreduce中,Reporter r原创 2012-07-18 09:59:22 · 15667 阅读 · 0 评论 -
hadoop日志文件_奇怪的时间
在hadoop性能优化的实验中,碰到一个奇怪的问题,描述如下:在shell端显示 job先执行时间:13:53:32~13:57:18(3m46s,根据shell终端显示计算) Map执行时间:13:53:33~13:57:04(3m31s,根据shell终端显示的估计值) Reduc执原创 2012-07-17 16:29:24 · 2643 阅读 · 1 评论 -
Mapreduce pairs算法 实现
今天实现了pairs算法,但是出于公司保密协议的规定,不能够随意把代码分享出来。简单分享Map,Reduce,MaruPairs三个类,要实现MaruPairs,还需要重写自己的Comparator类,做点优化。程序功能是判断风扇fan1开启下时,风扇fan2开启的比率。前三个类代码粘帖如下:Map类: public static class MyMap exte原创 2012-07-25 15:09:03 · 2689 阅读 · 0 评论 -
skyFS-mapreduce0.5版作业调度分析
skyFS-mapreduce 设计文档-Mapreduce Job SchedulerStaff Date Content versionsai 12/11/12 Create 0.51.概要 本文主要论述skyFS-mapreduce下面mapreduce部分job调度的问题。简单介绍了mapreduce部分job正常调度时是如何分配,何时分配及何时执行的,比如g原创 2013-10-09 16:10:05 · 1041 阅读 · 0 评论