最近在看<<Hadoop技术内幕>>里面对shuffle中"奇迹发生的地方"有比较细致的叙述
在这整理一下:
在mapper端业务逻辑走完后,调用MapOutputCollector.collect()输出结果,其中MapOutputCollector这个接口有两个实现类MapOutputBuffer和DirectMapOutputCollector,后者是在没有ReduceTask时调用的直接写入HDFS,而前者就是环形缓冲区所在地。
MapOutputBuffer采用二级索引结构,涉及三个环形内存缓冲区kvoffsets(键值对索引的偏移量)、kvindices(分区信息、键值对索引)、kvbuffer(键值对具体的值),总大小在配置文件中io.sort.mb属性设置(默认为100mb)。
缓冲区采用典型单生产者消费者模型。MapOutputBuffer的collect方法和MapOutp