Yarn笔记

Hadoop集群
Yarn+HDFS 逻辑器上分离，物理上一起
MapReduce计算框架 + Yarn资源调度框架

MapReduce架构

JobTracker

TaskTracker

Yarn

Yarn架构

Resource Manager

• 调度算法：Fair Scheduler、Capacity Scheduler
• Yarn进行资源分配的单位是容器（Container），每个容器包含了一定量的内存、CPU等计算资源
• 应用程序管理器负责应用程序的提交、监控应用程序运行状态等,应用程序启动后需要在集群中运行一个ApplicationMaster，ApplicationMaster也需要运行在容器里面。每个应用程序启动后都会先启动自己的ApplicationMaster，由ApplicationMaster根据应用程序的资源需求进一步向ResourceManager进程申请容器资源，得到容器以后就会分发自己的应用程序代码到容器上启动，进而开始分布式计算
• 分配第一个容器，任务->

Node Manager

• 启动和管理容器
• 监控本节点上容器的运行状况并向ResourceManger进程汇报

ApplicationMaster 提供程序管理框架
Container

交互流程 jobclient resoucerManger admin applicationMaster nodeManger
调用方式 RPC

ApplicationMaster