MapReduce实例----统计个数

1.完整代码：

package com.zt;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

  public static class TokenizerMapper 
       extends Mapper<Object, Text, Text, IntWritable>{
    
    private final static IntWritable one = new IntWritable(1);   //词的个数，刚开始都为1，也可以不定义，直接context.write(keytext, 1); 
    private Text word = new Text();    //定义一个text对象，用来充当中间变量，存储词，
    //Text类型相当于java中的String类型，IntWritable相当于java中的Integer类型
      
    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
    	String str =value.toString();  //获取值  
      StringTokenizer itr = new StringTokenizer(str);  //StringTokenizer根据空格等分隔字符串到stringTokenizer 
      while (itr.hasMoreTokens()) {    //返回是否还有分隔符，判断是否还有单词 
        word.set(itr.nextToken());       //nextToken()：返回从当前位置到下一个分隔符的字符串。  
        context.write(word, one);     //context.write("hello",1)  
        //System.out.println("qiyadeng map message:"+word+"/"+one);
        
      }
    }
  }
  
  public static class IntSumReducer 
       extends Reducer<Text,IntWritable,Text,IntWritable> {  // 前两个输入：例：（hello，1），后两个输出（hello，2）  
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, 
                       Context context    //它用来与MapReduce系统进行通信，如把map的结果传给reduce处理 
                       ) throws IOException, InterruptedException {
      int sum = 0;
    
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);   //如 对于hello，sum是2  
      context.write(key, result);   // hello，2 
      //System.out.println("qiyadeng reduce message:"+key+"/"+result);
    }
  }

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
    if (otherArgs.length != 2) {
      System.err.println("Usage: wordcount <in> <out>");
      System.exit(2);
    }
    Job job = new Job(conf, "word count");  //job对象指定作业执行规范
    job.setJarByClass(WordCount.class);   //代码打包成一个jar文件（hadoop在集群上发布这个文件）
    job.setMapperClass(TokenizerMapper.class);      //指定map类型
    job.setCombinerClass(IntSumReducer.class);    //
    job.setReducerClass(IntSumReducer.class);   //指定reduce类型
    job.setOutputKeyClass(Text.class);  //控制map函数的输出类型
    job.setOutputValueClass(IntWritable.class);  //控制reduce函数的输出类型
    //构造job对象之后，指定输入输出数据的路径
    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));   //定义输入数据的路径，该方法可以多次调用
    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));    //指定输出路径，只能有一个输出路径，该方法指定的是
    //reduce函数输出文件的写入目录，在运行作业前该目录是不存在的
    System.exit(job.waitForCompletion(true) ? 0 : 1);  //job.waitForCompletion(）方法提交作业并等待执行完成
  }
}

2.详解：实现mapreduce需要三样东西：一个map函数，一个reduce函数，以及一些用来运行作业的代码：

（1.）map函数：

public static class TokenizerMapper 
       extends Mapper<Object, Text, Text, IntWritable>{
    
    private final static IntWritable one = new IntWritable(1);   //词的个数，刚开始都为1，也可以不定义，直接context.write(keytext, 1); 
    private Text word = new Text();    //定义一个text对象，用来充当中间变量，存储词，
    //Text类型相当于java中的String类型，IntWritable相当于java中的Integer类型
      
    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
    	String str =value.toString();  //获取值  
      StringTokenizer itr = new StringTokenizer(str);  //StringTokenizer根据空格等分隔字符串到stringTokenizer 
      while (itr.hasMoreTokens()) {    //返回是否还有分隔符，判断是否还有单词 
        word.set(itr.nextToken());       //nextToken()：返回从当前位置到下一个分隔符的字符串。  
        context.write(word, one);     //context.write("hello",1)  
        //System.out.println("qiyadeng map message:"+word+"/"+one);
        
      }
    }
  }

map函数由Mapper类实现来完成，后者申明一个map虚方法。这个Mapper类是一个泛型类型，四个参数分别指定map函数的输入键、输入值、输出键、和输出值的类型。map方法的输入是一个键和一个值，还提供了Contect实例用于输出内容的写入。Text类型相当于java中的String类型，IntWritable相当于java中的Integer类型。

（2.）reduce方法：

public static class IntSumReducer 
       extends Reducer<Text,IntWritable,Text,IntWritable> {  // 前两个输入：例：（hello，1），后两个输出（hello，2）  
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, 
                       Context context    //它用来与MapReduce系统进行通信，如把map的结果传给reduce处理 
                       ) throws IOException, InterruptedException {
      int sum = 0;
    
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);   //如 对于hello，sum是2  
      context.write(key, result);   // hello，2 
      //System.out.println("qiyadeng reduce message:"+key+"/"+result);
    }
  }

同样，Reduce也有四个参数用于指定输入和输出类型，reduce函数的输入类型必须匹配map函数的输出类型。Reduce类以Map的输出作为输入

（3.）主函数：

 job.setOutputKeyClass(Text.class);  
    job.setOutputValueClass(IntWritable.class); 

这两句控制中间键值对的输出键值类型，程序中中间键值对输出过两次，一次在map函数中，一次在reduce函数中，一般来说，这两次输出的键值类型都是一样的，如果不一样，需要通过添加job.setMapOutputKeyClass(theClass);
     job.setMapOutputValueClass(theClass);

语句来指定map中中间键值对输出的键值类型。