Hadoop Combiner类 简单测试

public static class MyReduce extends
		Reducer<Text, IntWritable, Text, IntWritable>{
		
		private static IntWritable num = new IntWritable();
		@Override
		public void reduce(Text key,Iterable <IntWritable> val,Context context
				)throws IOException,InterruptedException {
			int sum=0;
			
			for(IntWritable each : val){
				sum++;   //  这是第一种情况
				//sum += val.get();  //  这是第二种情况
		        // IntWritable.get(); 返回 IntWritable的int值
			}
			
			num.set(sum);  //返回值并非本对象
			context.write(key, num);
		}
	}

接下来就是主函数的区别

	job.setCombinerClass(MyReduce.class);  // 是否加入Combiner

对了，这是最简单的WordCount程序。

不加入Combiner时，两种情况答案正确。

加入后，只有第二种方法正确。

分析： 没有Combiner，map  -->   (word,(1,1,1,1))  -->  reduce  -->  (word,4)

             加入Combiner ,  map  -->  (word,(1,1,1,1))   -->(Combiner,仍在执行map的主机上) (word,(4))  --> reduce (word,(1))

            // 所以加入Combiner后，第一种数集合中有多少元素的方法就失效了，输出的所有单词数量均为1。

           因为这里Combiner和Reduce用相同的函数，即都是reduce( ); 所以reduce的后两个输出参数要和前两个参数类型一致。