- 博客(1)
- 资源 (2)
- 收藏
- 关注
原创 hadoop作业调优参数整理及原理
1 Map side tuning参数1.1 MapTask运行内部原理<br /><br />当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示,每一个map都会对应存在一个内存buffer(MapOutputBuffer,即上图的buffer in memory),map会将已经产生的部分结果先写入到该buffer中
2011-02-18 13:02:00 953
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人