Shuffle的中文意思是洗牌,是mapReduce程序最重要的一个过程,可以将mapTask阶段输出的结果分发给不同的reduceTask,在分发过程中还会对key进行分区,排序,以及局部聚合的操作。
Shuffle是MR处理过程中的一个流程,其处理的步骤是分散在mapTask和reduceTask各个节点上完成的。
Shuffle的中文意思是洗牌,是mapReduce程序最重要的一个过程,可以将mapTask阶段输出的结果分发给不同的reduceTask,在分发过程中还会对key进行分区,排序,以及局部聚合的操作。
Shuffle是MR处理过程中的一个流程,其处理的步骤是分散在mapTask和reduceTask各个节点上完成的。