MapReduce_原理( 二 结合Yarn相关 )
MAPREDUCE实践篇(2)
mapreduce的shuffle机制
mapreduce中,map阶段处理的数据如何传递给reduce阶段,是mapreduce框架中最关键的一个流程,叫 shuffle ;
shuffle:洗牌,发牌----(核心机制:数据分区,排序,缓存)
具体来说:是将maptask输出结果数据,反发给reducetask,并在分发的过程中,对数据ke...
原创
2018-08-22 15:14:34 ·
280 阅读 ·
0 评论