MapReduce的执行流程

一个MapReduce的作业执行流程是：1）代码编写；2）作业配置；3）作业提交；4）Map任务的分配和执行；4）处理中间结果；5）Reduce任务的分配与执行；6）作业完成。具体如图1-1所示。下面以一个简单的单词计数例子对各个步骤做一个详细的介绍。

1代码编写及配置

代码编写及配置主要是在客户端进行。

1）代码编写主要是编写我们需要的map函数和Reduce函数。

map函数代码如下：

@Override  
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {  
    String line = value.toString();  
    StringTokenizer itr = new StringTokenizer(line);  
    while (itr.hasMoreTokens()){  
    String word = itr.nextToken();  
    context.write(new Text(word),new IntWritable(1));  
    }  
}  

Reduce函数代码如下：

@Override  
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {  
    int count=0;  
    for(IntWritable value:values){  
         count+=value.get();  
    }  
    context.write(key,