Hadoop中的shuffle、partition和combiner
如大家所知道的,Hadoop的计算框架主要是两个过程分别是map和reduce,但是还有好几个过程和性能调优有关。如:shuffle、partition和combiner。
shuffle:数据从map端传输到reduce端的过程。
计算框架总体的过程如下:
map阶段:从磁盘读入数据 --> map函数 --> combine结果(非必需的过程)--> 结果写回磁盘。
map阶段
原创
2015-10-24 20:55:22 ·
2633 阅读 ·
0 评论