浅析Mapreduce工作原理

MapReduce各阶段工作原理图：

下面讲解MapReduce的工作过程及原理：
1.split阶段
对于传入进来的大文件，采用TextInputFormat文件输入方式，然后对其进行物理分片，按照128M一个分片来分成若干map tasks。如果传入的是一个一个小文件，可以采用CombinerInputFormat方式传入文件，将其聚合成一个大文件。
2.一行一行读
使用的是TextInputFormat类中的getRecordReader方法来获取行信息，源码如下：

public RecordReader<LongWritable, Text> getRecordReader(InputSplit genericSplit, JobConf job, Reporter reporter) throws IOException {
        reporter.setStatus(genericSplit.toString());
        String delimiter = job.get("textinputformat.record.delimiter");   ---获取结束符，这里的结束符是可以设置的，默认是
        byte[] recordDelimiterBytes = null;
        if (null != delimiter) {
            recordDelimiterBytes = delimiter.getBytes(Charsets.UTF_8);  
        }
        return new LineRecordReader(job, (FileSplit)genericSplit, recordDelimiterBytes);     ----返回一行读取信息的实例`
    }

这里返回的LineRecordReader是RecordReader抽象类的一个实例，返回的内容是一行的分片信息。（偏移量和行内容）
3.map业务逻辑
将获取到的一行内容经过Mapper类的map方法得到新的key和value，这里面具体的业务逻辑需要根据具体的实现进行编写。
4.shuffle阶段(环形缓冲区)
map端写出的key和value在被写到磁盘里之前会输送给outputCollector（环形缓冲区），环形缓冲区的默认大小为100M(可以通过参数调整缓冲区的大小)，当写到80%时才会溢写到磁盘(80%也是默认的，可以通过mapreduce.map.sort.spill.percent配置)。在map输出的数据输送给reduce端之前，往往需要经过以下几个过程：
(1) Combiner：对map task节点上相同的key作value的合并，这是一种优化手段，可以设置Combiner，在需要的时候调用Combiner即可。
(2) partitioner：对同一分片中的key进行hash取值，相同的partition值放在一个分区中，取值的源码如下：

 public int getPartition(K2 key, V2 value, int numReduceTasks) {
        return (key.hashCode() & 2147483647) % numReduceTasks;
    }

这里对key进行hash，然后逻辑与一个“2147483647”（因为hash的取值可能产生负值，所以强制位与int类型的最大值，去除符号位）
这里的分区通常情况下是需要根据业务逻辑进行重写，需要设置分区个数。
partition的值会默认进行排序，这里需要对key的值进行排序，使partition和key值都是有序的。（默认是升序排序）
(4) merge：调用归并排序方法对相同的partition值归并在一起形成一个大的文件，也就是map task最终的结果文件。
(5) reduce task会根据自己的分区值去不同的map task中copy对应的partition放到reduce task中，将不同的文件再次使用归并排序合并成一个大文件，然后在写到磁盘里，这里如果设置了Combiner，会调用Combiner进行优化。
5.reduce阶段
reduce task任务是将归并后的大文件进行逻辑处理，首先调用的就是GroupComparator对文件进行分组，每次reduce取一组key和values的值，使用自己重写的reduce方法对其进行逻辑处理。
最后将处理好的文件通过TextOutputFormat的方法写到part-r-000**中。