MapReduce详解

Hadoop作为一个成熟的框架，1.X中就已经出现mapreduce这个概念，而在2.x中，把MapReduce这个处理框架放在Yarn概念中。MapReduce虽然是hadoop中的组件，但在很多其他框架中都有使用或有相同的概念，因此在学习大数据的时候，需要深刻的了解一下MapReduce这一组件的作用

MapReduce阶段剖析

数据从Map端输入，在Map中，会将数据处理成key—value的结构，一般会将数据中的offset作为key，一行数据作为value，Map端处理完数据后，会进入环形缓冲区，默认缓冲区大小为100M，80M阈值，20M缓冲区，这20M缓冲区是为了防止数据输入速度大于磁盘写入速度时，保证数据不丢失。

当数据超过阈值后，会溢写到磁盘中，这个过程会出现分区的操作，在没有自定义分区的情况下，会按照默认情况进行分区，一个分区对应一个节点（这点很关键），分区后会有分组、分区内排序、合并、压缩相关操作。

每个分区对应一个reduce（合并操作是必要的，spill后会产生很多小文件，会产生大量的网络io，因为map节点和reduce节点一般不是同一个节点），reduce会将每一行数据进行处理，具体处理根据业务需求进行操作；