从wordcount中窥探mapreduce过程

1分片，格式化数据源（InputFormat）
首先mapreduce只能接受key/value形式的数据流，这也就是为什么会有分片，格式化数据源这一个过程的原因。首先一个大文件会被分割成文件块分布在集群中，InputFormat继续把文件块分片，至于一个分片的大小是有splitSize参数决定的，类InputSplit含有分片的信息，分片并不是生成新的文件副本，而是用InputSplit抽象包含数据的信息，比如起始位置，数据长度等。小于该值的部分也会成为一个InputSplit。
然后InputSplit就会被格式化key/value形式，key是偏移量，value是每一行的内容。每生成一个key/value就调用一次map函数，现在你能理解map函数的参数了吧

/*Context是上下文对象，你也可以把它理解成环境对象
StringTokenizer字符串分词器，是出于兼容以前的java程序而保留的类。
等价 String[] result = "this is a test".split("\\s");
     for (int x=0; x<result.length; x++)
         System.out.println(result[x]);


*/
    public class MyMap extends Mapper<Object, Text, Text, IntWritable>{
    /*
     * final 不可变
     * static 生命周期是应用
     * private 私有，外界无权限访问，只有类中的方法可以访问
     */
    private final static IntWritable one=new IntWritable();
    private Text word=new Text();
    public void map(Object key,Text value,Context context){

        StringTokenizer itr=new StringTokenizer(value.toString());
        while(itr.hasMoreTokens()){
            word.set(itr.nextToken());
            try {
                context.write(word, one);
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            } catch (InterruptedException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
    }



}

2map函数
这部分是程序员自定义部分，也就是业务逻辑。

map端shuffle过程
shuffle有人称为清洗，也有人叫洗牌。shuffle是mr对程序员透明的核心内容：sort,combine,patition（分区）简称mr三板斧。首先，map产生的直接结果会向output缓存中,缓存的大小可以在配置文件中配置，当数据达到阈值时继续向缓存中写入数据，同时后台开启一个线程对缓存中数据排序，如果剩下的20%缓存已经写满了，而排序还没有进行完map任务就会暂停等待排序完成，排序后进行combine操作，然后write到本地端，该文件称为spill文件（溢出文件）。combine操作其实是reduce的一个实现，不过是运行在map端，job.setCombinerClass(Reducer.class);该操作的目的就是减少输入reduce的数据和网络负载。combine后的数据是这样的
<key,{v1,v2,v3}>当某一个服务器上的map任务完成后会有多个spill文件，这些文件是文件内部有序，而非整体有序，这个时候就会进行merge sort归并排序，合并成一个文件，这个大文件也是存储在本地文件系统中，然后进行区间划分，除了有一个大文件外，还有一个index索引文件，里面保存区间的偏离量，如：
patition0 0
patition 150
patition 288

后一个区间的key值大于先一个区间，然后把一个区间只能属于一个reduce。这就是patition.
3 reduce端shuffle过程
reduce一般都比map少，这就意味着reduce节点需要从多个map节点中copy数据。reduce的shuffle是sort combine两板斧
首先使用http协议copy分配给自己的数据，数据缓存在jvm的堆内存中，堆内存的大小可以设置。当数据量太大，达到一个阈值是就先对堆内存中的数据进行merge Sort,然后write本地文件，也称为spill文件。如果设置了combine也会在进行merge sort的同时进行合并，结果如上述。如果map端的数据实在是太大，就会有多个spill文件， 文件数达到一个的阈值（mapreduce.task.io.sort.factor参数默认0.66）就会对这些本地文件进行merge sort（把两个文件的内容读取到内存中，然后进行排序，最后写到一个文件中，这项工作可能会进行多次） ,以减少文件的数量，最后把所有的文件内容读取到内存中，进行排序然后输出给reduce

4文件写入hdfs(OutputFormat)
OutputFormat描述数据的输出形式， 并且会生成其他的对象，调用write()方法会把数据写入HDFS中。