大师兄你家猴跑啦的博客

一 Map Parameters 详细研究 MapReduce 的技术官方文档时，发现在讲解Map的参数时候提到了元数据存储在 accounting buffer，是在不懂这个是什么鬼，附 MapReduce 的技术官方文档原文： A record emitted from a map will be serialized into a buffer and metadata will be stored into accounting buffers. As described in the fol.

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce，Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里我尽最大的可能试着把Shuffle说清楚，让每一位想了解它原理的朋友都能有所收获。如果你对这篇文章有任何疑问或建..