mapreduce
tugangkai
四海皆为兄弟
展开
-
map/reduce之间的shuffle,partition,combiner过程的详解
Shuffle的本意是洗牌、混乱的意思,类似于java中的Collections.shuffle(List)方法,它会随机地打乱参数list里的元素顺序。MapReduce中的Shuffle过程。所谓Shuffle过程可以大致的理解成:怎样把map task的输出结果有效地传送到reduce输入端。也可以这样理解, Shuffle描述着数据从map task输出到reduce task输入的这段过...转载 2018-10-04 23:00:36 · 139 阅读 · 0 评论 -
mapreduce相关技术博客
https://www.cnblogs.com/codeOfLife/p/5528742.html原创 2018-10-05 21:39:18 · 156 阅读 · 0 评论