Hadoop中的Yarn的整体讲解

Hadoop中的Yarn的整体讲解

MapReduce2.0（ YARN）工作流程详解

MapReduce 系统获得成功的原因之一是它为编写需要大规模并行处理的代码提供了简单的编程模式。它受到了 Lisp 的函数编程特性和其他函数式语言的启发。 MapReduce 和云计算非常相配。 MapReduce 的关键特点是它能够对开发人员隐藏操作并行语义 — 并行编程的具体工作方式。

 

但是我们同样也知道， MapReduce 的诞生于 2004 年，距今已经有 10 年左右了，其缺陷与限制也日益暴露出来，目前的 MapReduce 缺陷如下：

   集群规模最多容纳 4000 节点，最大并发数 40000.

   无法对所有队列和运行中的任务进行人工终止。

   节点资源利用效率较低。

   迭代算法实现较差。

基于此上原因， 2010 年新一代的 MapReduce 开始进入设计规划，也就是我们看到的 YARN。

 

YARN概述

YARN 是“ Yet Another ResourceNegotiator”的简称。在进一步了解 YARN 框架之前我们需要知道，相比较而言， MapReduce 则是 YARN 的一个特例。 YARN 则是 MapReduce 的一个更加通用和高级的框架形式，并在其上增加了更多的功能。例如通过加载分布式执行脚本可以在集群节点上执行独立的脚本任务，并且更多功能正在被追加中。所以我们可以看到，YARN 可以直接运行在 MapReduce 运行的框架上而不会造成更多的干扰，并且会为集群的运算带来更多的好处。更一步的开发显示了 YARN 会允许开发者根据自己的需求运行不同版本的 MapReduce 在集群中，这将为开发者提供更为便捷的服务。

 

相比较 MapReduce