MapReduce详细的工作流程（MapReduce2）

上一篇详细讲了MapReduce1的工作流程，这一篇主要讲基于YARN系统的MapReduce 2的工作流程。
对于大于4000个节点的集群来说，MapReduce1系统将会产生一个规模瓶颈，因此Yahoo在2010年开始设计下一代的MapReduce，因此产生了YARN。YARN通过把jobTracker的责任划分为几个独立的模块修复了MapReduce1的缺点。jobTracker需要管理job的安排（scheduling）（用taskTracker来匹配任务）和任务进度监视（追踪进度，重启失败的、慢的任务，写任务记录比如counter）。
YARN把这两个角色分为两个独立的模块：资源管理器（resource manager）来管理集群资源的利用，主应用（application master）来管理在集群上运行的应用的生命周期。主程序与资源管理器协商集群资源。这些集群资源就是一些拥有内存限制的容器（containers），可以运行在这些容器中运行应用进程。这些容器被运行在集群节点上面的节点管理器（node manager）监视，确保应用只能使用被分配的资源。相对于jobTracker来说，每一个应用的实例（一个MapReduce Job）有一个专用的主应用（application master），它在该应用运行的时候执行。
正如描述的那样，YARN比MapReduce更普通，事实上，MapReduce是YARN的一种类型。YARN设计之美在于不同的YARN应用能够在一个集群上共存，因此一个MapReduce程序能够作为一个MPI程序运行，这对集群的可管理性和利用率带来了很大的提升。而且，用户非常有可能运行不同版本的Map