Hadoop——Yarn

Hadoop——Yarn

yarn官方文档

1. Yarn功能介绍：

  yarn为hadoop的分布式集群资源管理系统，市hadoop2.0的一特性。其特点为
    1、支持非mapreduce应用的需求
    2、可扩展性
    3、提高资源是用率
    4、用户敏捷性
    5、可以通过搭建为高可用

2.Yarn组成部分：

• ResourceManger
    ResourceManger用来主要有两个功能。一个是任务分配，一个是资源调度。其中ApplicitionManager执行任务分配，Scheduler来进行资源分配。根据客户端程序的需求，调度优先级以及可用资源情况，动态分配特定节点运行应用程序。与NodeManager和ApplicationMaster相互协调工作。

  • Schedulor
      Schedulor在ResourceManger中属于纯调度器，负责各个运行中的应用的资源分配，受到资源容量，队列以及其他因素的影响。不负责应用程序的监控和状态追踪，不保证应用程序的失败或者硬件失败的情况对task重启，而是基于应用程序的资源需求执行其调度功能，使用了叫做资源container的概念，其中包括多种资源，比如，cpu，内存，磁盘，网络等。
  • ApplicationManager
      Appli