大数据面试（一）

大数据面试（一）
mapreduce的原理与过程

mapreduce分为map阶段和reduce阶段，主要来源于人类解决问题的过程。其中，map可以理解为映射，是将数据x映射为map（k,v）的过程，reduce的过程的以组为单位的，一组数据调用一次reduce方法。
除了上述的map与reduce，切片也是mapreduce中重要的概念，切片是将要执行MapReduce的文件切成几份，以提高map的并行度。

值得注意的是MapReduce中的reduce过程依赖于map过程的输出。Hadoop中MapReduce一般是一个切片生成一个maptask，maptask是并行执行的。reducetask的数量（分区数）一般由人决定，部分reducetask可能会串行执行。更加详细的过程如下图。

切片中的每一条数据（数据是通过inputformat产生的）通过map生成map（k,v，p）(p为分区号，决定了该条数据应该去往哪个分区)存在内存缓冲区里，当缓存区放满了时，执行一次快速排序，并溢写到磁盘。反复这样多轮，此节点上会生成许多内部有序的文件。最终，会将这些文件归并排序成一个大文件。
接着，进入一个shuffle阶段，不同的分区会去哪去自己的数据（根据p），然后将哪去过来的小文件合并成一个新的文件，并执行reduce方法，值得注意的是合并的过程可以跟reduce的过程同时进行。