- 博客(1)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 自己对MapReduce中shuffle过程的理解
shuffle过程包括在Map和Reduce两端中。 在Map端的shuffle过程是对Map的结果进行分区（partition）、排序（sort）和分割（spill），然后将属于同一个划分的输出合并在一起（merge）并写在硬盘上，同时按照不同的划分将结果发送给对应的Reduce（Map输出的划分与Reduce的对应关系由JobTracker确定）。Reduce端又会将各个Map送来的属于同
2015-01-16 15:24:06
5583
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人