本文详细介绍了Hadoop MapReduce过程中shuffle阶段的环形缓冲区工作原理。MapOutputBuffer作为环形缓冲区的主要实现，包含三级索引结构，并采用单生产者消费者模型进行数据管理。当内存使用率达到io.sort.spill.percent配置值时，数据开始溢出到磁盘。在Hadoop 0.21版本中，进一步优化了缓冲区设计，减少了磁盘溢写次数。
最近在看<<Hadoop技术内幕>>里面对shuffle中"奇迹发生的地方"有比较细致的叙述
在这整理一下：
在mapper端业务逻辑走完后，调用MapOutputCollector.collect()输出结果，其中MapOutputCollector这个接口有两个实现类MapOutputBuffer和DirectMapOutputCollector，后者是在没有ReduceTask时调用的直接写入HDFS，而前者就是环形缓冲区所在地。
MapOutputBuffer采用二级索引结构，涉及三个环形内存缓冲区kvoffsets(键值对索引的偏移量)、kvindices(分区信息、键值对索引)、kvbuffer(键值对具体的值)，总大小在配置文件中io.sort.mb属性设置(默认为100mb)。
缓冲区采用典型单生产者消费者模型。MapOutputBuffer的collect方法和MapOutp
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
