hadoop MapReduce程序 不包含Reduce的设置

原创 2012年03月26日 22:27:07

hadoop-0.20.2版本:

	    public int run(String[] args) throws Exception {
	        Configuration conf = getConf();
	        
	        JobConf job = new JobConf(conf, TestSdfInputFormat.class);
	        
	        Path in = new Path(args[0]);
	        Path out = new Path(args[1]);
	        FileInputFormat.setInputPaths(job, in);
	        FileOutputFormat.setOutputPath(job, out);
	        
	        job.setJobName("TestSdfInputFormat");
	        job.setMapperClass(MapClass.class);
	        	
	        job.setNumReduceTasks(0);.//设置Reduce个数为0
	        job.setInputFormat(SdfTextInputFormat.class);
	        job.setOutputKeyClass(Text.class);
	        job.setOutputValueClass(Text.class);
	        
	        JobClient.runJob(job);
	        
	        return 0;
	    }


hadoop-1.0.0版本:

		public static void  main(String[] args) throws Exception {
		Job job = new Job();

	        Path out = new Path(args[1]);
	        FileInputFormat.setInputPaths(job, new Path(args[0]));
	        FileOutputFormat.setOutputPath(job, out);	        

	        job.setJobName("TestSdfInputFormat");
	        job.setMapperClass(TargetMapper.class);	        
	        	
	        job.setInputFormatClass(SdfTextInputFormat.class);
	        job.setOutputKeyClass(Text.class);
	        job.setNumReduceTasks(0);//设置个数为0
	        job.setOutputValueClass(Text.class);

	        System.exit(job.waitForCompletion(true)?0:1);
	    }

如果不设置的话,MapReduce会按照默认的Reduce处理。

也可以在mapred-site.xml下设置:

<property>
    <name>mapred.reduce.tasks</name>
    <value>0</value>
</property>

但是不知道应该怎么在eclipse使之生效。


Mapreduce不设置reduce,只执行map的输出结果

http://m.blog.csdn.net/blog/yhc13429826359/9962047 Mapreduce不设置reduce,只执行map的输出结果 2013...

ubuntu14.04 reaver不能正常使用

原帖地址: ubuntu14.04 reaver不能正常使用 http://forum.anywlan.com/thread-282404-1-1.html (出处: http://www.anywl...

jQuery实现加入购物车飞入动画效果

购物车按钮:加入购物车 实现代码: $(function() { var offset = $(".shop-cart").offset(); $("#addcar").click(funct...

Hadoop:mapreduce程序reduce输出控制

1,在Hadoop中,reduce支持多个输出,输出的文件名也是可控的,就是继承MultipleTextOutputFormat类,重写generateFileNameForKey方法 ...
  • turk
  • turk
  • 2014年11月20日 16:18
  • 307

eclipse下开发mapreduce程序设置reduce个数无效的问题及解决

reduce个数是可以根据集群和项目具体情况设置的,新接口中用job.setNumReduceTasks(n);即可设置,但前几天用eclipse调试mapreduce程序时发现无论设置reduce个...
  • nnaxmy
  • nnaxmy
  • 2015年02月03日 00:08
  • 700

hadoop 中map、reduce数量对mapreduce执行速度的影响

参考 http://blog.csdn.net/npucloud/article/details/6432145

Hadoop源代码分析(mapreduce.lib.partition/reduce/output)

Map的结果,会通过partition分发到Reducer上,Reducer做完Reduce操作后,通过OutputFormat,进行输出,下面我们就来分析参与这个过程的类。 Mapper的结果,可...
  • dy_252
  • dy_252
  • 2011年09月21日 09:26
  • 290

org.apache.hadoop.mapreduce.task.reduce.Shuffle error in shuffle in fetcher

org.apache.hadoop.mapreduce.task.reduce.Shuffle error in shuffle in fetcher 分析及方案

Hadoop MapReduce Job性能调优——修改Map和Reduce个数

map task的数量即mapred.map.tasks的参数值,用户不能直接设置这个参数。Input Split的大小,决定了一个Job拥有多少个map。默认input split的大小是64M(与...

hadoop执行mapreduce任务,能够map,不能reduce,Shuffle阶段报错

第一次运行: [root@sjfx jar]# hadoop jar /home/tangzw/jar/GameLoginLogAnalyzeA.jar /tangzw/input ...
  • tzw1992
  • tzw1992
  • 2014年05月15日 15:39
  • 3011
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop MapReduce程序 不包含Reduce的设置
举报原因:
原因补充:

(最多只允许输入30个字)