MapTask与ReduceTask深入分析与调优
1 Map-side tunning1.1 MapTask运行内部原理当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的 部分结果的缓存,并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示,每一个map都会对应存在一个内存 buffer(MapOu
转载
2013-11-01 11:29:46 ·
1307 阅读 ·
0 评论