![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 77
SummerMangoZz
菲fans
展开
-
hadoop MapReduce模型的shuffle过程
shuffle是MapReduce编程模型的核心。它主要指从maptask输出key/value到reducetask接受输入这段过程。这段过程也被称为“神奇发生的地方”,是mapreduce能顺利进行的保障。它的官方描述图如下:先来分析map端的操作:在这图种,map端的input来自本机存储的block种的数据。每执行一次map函数式,会传入偏移量和一行block中的数据,经过原创 2017-04-28 11:24:57 · 894 阅读 · 0 评论 -
ApplicationMaster,ResourceManager和NodeManager通信过程
ApplicationMaster与ResourceManager和NodeManager的交互: rpc交互: 1.与ResourceManager交互,ApplicationMaster可获得计算所需的资源 2.与NodeManager交互,ApplicationMaster可启动计算任务并监控它的生命周期1.ApplicationMast原创 2017-05-22 09:39:49 · 7067 阅读 · 1 评论