MapReduce中shuffle阶段概述及计算任务流程

最新推荐文章于 2024-08-21 21:23:39 发布

大数据梦想家

最新推荐文章于 2024-08-21 21:23:39 发布

阅读量5.2k

点赞数 11

分类专栏： # MapReduce Hadoop 文章标签： MapReduce shuffle

本文链接：https://blog.csdn.net/weixin_44318830/article/details/103061572

版权

本文介绍了MapReduce中的Shuffle阶段，包括分区、排序、规约和分组四个操作，详细阐述了每个步骤的功能。Shuffle为Reduce提供<key, value-list>的中间结果，确保相同key的数据发送到同一reduce进行处理。此外，还概述了MapReduce任务从InputFormat到OutputFormat的完整执行流程。" 104124546,9287614,C++实现的RPC网络通信框架详解,"['C++编程', '网络编程', 'RPC框架', 'muduo', 'protobuf', 'zookeeper']

摘要由CSDN通过智能技术生成

在小菌上一篇博客《什么是MapReduce(入门篇)》中,小菌已经为大家介绍了MapReduce的相关概念介绍。其中谈到了MapReduce主要由Map和Reduce两个过程组成!事实上,为了让Reduce可以并行处理Map的结果,需要对Map的输出进行一定的分区(Partition),排序(Sort),合并(Combine),分组(Group)等操作,得到<key,value-list>形式的中间结果,再交给对应的Reduce 进行处理,这个过程也就是小菌需要为大家介绍的,叫做Shuffle(混洗)!

先让我们来看下Shuffle阶段的四个操作的具体功能演示(下图的3~6步操作)。
在这里插入图片描述
是不是有点丈二和尚——摸不着头脑,不要着急,让小菌来告诉大家更详细的步骤过程!