hadoop MapReduce程序 不包含Reduce的设置

原创 2012年03月26日 22:27:07

hadoop-0.20.2版本:

	    public int run(String[] args) throws Exception {
	        Configuration conf = getConf();
	        
	        JobConf job = new JobConf(conf, TestSdfInputFormat.class);
	        
	        Path in = new Path(args[0]);
	        Path out = new Path(args[1]);
	        FileInputFormat.setInputPaths(job, in);
	        FileOutputFormat.setOutputPath(job, out);
	        
	        job.setJobName("TestSdfInputFormat");
	        job.setMapperClass(MapClass.class);
	        	
	        job.setNumReduceTasks(0);.//设置Reduce个数为0
	        job.setInputFormat(SdfTextInputFormat.class);
	        job.setOutputKeyClass(Text.class);
	        job.setOutputValueClass(Text.class);
	        
	        JobClient.runJob(job);
	        
	        return 0;
	    }


hadoop-1.0.0版本:

		public static void  main(String[] args) throws Exception {
		Job job = new Job();

	        Path out = new Path(args[1]);
	        FileInputFormat.setInputPaths(job, new Path(args[0]));
	        FileOutputFormat.setOutputPath(job, out);	        

	        job.setJobName("TestSdfInputFormat");
	        job.setMapperClass(TargetMapper.class);	        
	        	
	        job.setInputFormatClass(SdfTextInputFormat.class);
	        job.setOutputKeyClass(Text.class);
	        job.setNumReduceTasks(0);//设置个数为0
	        job.setOutputValueClass(Text.class);

	        System.exit(job.waitForCompletion(true)?0:1);
	    }

如果不设置的话,MapReduce会按照默认的Reduce处理。

也可以在mapred-site.xml下设置:

<property>
    <name>mapred.reduce.tasks</name>
    <value>0</value>
</property>

但是不知道应该怎么在eclipse使之生效。


(7)mapreduce 不执行reduce

reduce函数就是可选的,当不指定Reduce时候,系统会使用缺省的reduce函数(一般都没有什么操作) 不想要reduce就把其设置为NONE job.setNumReduceTasks(0...
  • ZhongGuoZhiChuang
  • ZhongGuoZhiChuang
  • 2017年02月28日 14:41
  • 1002

Mapreduce不设置reduce,只执行map的输出结果

http://m.blog.csdn.net/blog/yhc13429826359/9962047 Mapreduce不设置reduce,只执行map的输出结果 2013...
  • qiezikuaichuan
  • qiezikuaichuan
  • 2015年11月06日 15:49
  • 1163

MapReduce白话+简单实例理解

什么是Map/Reduce,看下面的各种解释: (1)MapReduce是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布式计算框,就是mapredu...
  • richerg85
  • richerg85
  • 2014年02月21日 13:35
  • 27043

mapreduce框架详解

转自:http://www.cnblogs.com/sharpxiajun/p/3151395.html 开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是...
  • Erli11
  • Erli11
  • 2014年03月17日 17:50
  • 6375

hadoop 程序在运行时 reduce过程卡在某个进度不动的问题

今天写好hadoop 程序之后,进行线上测试,驶入数据为一个hive表的文件,location到了一个hdfs目录下,然后跑hadoop的过程中,map阶段没有出现问题,但是每次到了reduce阶段,...
  • xp152167
  • xp152167
  • 2016年10月21日 18:29
  • 868

Hadoop中map和reduce个数的设置

转载http://my.oschina.net/Chanthon/blog/150500 map和reduce是hadoop的核心功能,hadoop正是通过多个map和reduce的并行运行来实现任...
  • lumenxu
  • lumenxu
  • 2016年07月29日 14:13
  • 1019

MapReduce的写法

转载地址为http://blog.jobbole.com/84089/ 觉得确实写的不错,挺详细的。很适合我这种新手。 开始聊mapreduce,mapreduce是hadoo...
  • qq_21361539
  • qq_21361539
  • 2016年02月28日 20:16
  • 1422

MapReduce(十一): 详解Reduce任务运行

详细描述在Redcue阶段,如何从Map端获取数据,然后Reduce处理后如何存储
  • dickens
  • dickens
  • 2014年09月02日 16:47
  • 1031

<hadoop>在hadoop集群的map和reduce函数中传递自定义对象

在hadoop集群中传递自定义对象
  • huahai_nb
  • huahai_nb
  • 2017年02月18日 15:29
  • 850

hadoop执行mapreduce过程reduce不执行原因

1.如果你的map过程中没有context.write()是不执行reduce过程的; 2.如果你的map过程中context.write()的map后的的部分数据出现问题,不符合reduce接受的...
  • u013013024
  • u013013024
  • 2016年09月23日 17:03
  • 2076
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop MapReduce程序 不包含Reduce的设置
举报原因:
原因补充:

(最多只允许输入30个字)