MapReduce的shuffle在面试的时候会问的几点

1.map为什么输出到环型缓冲区，为什么叫环型缓冲区？

使用内存减少磁盘落地的次数，增加程序的速度； 能让输出不停止，持续往缓冲区内写，

2.为什么在缓冲区输出的时候进行排序？

在内存内排序非常快，如果读取硬盘之后靠最后一步排序很慢，在缓冲区输出的时候进行排序这样最后一步reduce速度就会更快。

3.combiner的作用，运行原理？

对map输出进行局部聚合，减少map输出的数据量；shullfe或partition或mege时会进行调用。

4.reduce拉取过来的数据为什么放在buffer?

减少网络拉取的次数，和磁盘落地的次数，提高执行速度

5.为什么reducer输入的数据必须在硬盘上？直接放在内存里面不就不用排序了吗？

输入到内存上数据量大容易造成内存使用过多，内存使用过多虚拟机运行会不稳定，垃圾回收很频繁，虚拟机卡死等情况出现，reduce需要的是稳定执行。

6.MapReduce的map和reduce如果没有自己的实现类，那能运行吗？

没有自己的实现类能运行，因为map和reduce有自己默认的基类的方法。

7.什么是shuffle？

一是进行数据的网络拉取，二是进行key的洗排