目录
一:yarn架构分析
资源的调度和管理平台
主从结构
主节点,可以有2个:ResourceManager 相当于namenode是资源调度的
从节点,有很多个: NodeManager 进行执行任务
ResourceManager负责
集群资源的分配与调度
MapReduce、Storm、Spark等应用,必须实现ApplicationMaster接口,才能被RM管理
NodeManager负责
单节点资源的管理(CPU+内存) 硬盘
二:MapReduce在Yarn上执行流程
1:提交运行一个mapreduce(rm运行需要资源)
2:有一个mr,rm会开启一个container
3:container是资源分配的容器
4:在container中启动一个mapreduce (container给mapreduce用)
一个mapreduce可能有多个task 每个task运行都需要资源(通过rm分配contain)
mr继承一个接口application master(相当于mr)
rm需要知道mr中细节 有多少的task 应该分配多少个container
5:container给mr用
6:一个mr中有多个task每个task运行都需要资源(通过rm申请containner)
7:rm想要对mr进行资源分配 需要知道默认中的细节(有多少个task)分配多少个container
mr继承 application master
8:可以直接启动application master
注意:mr是mapreduce的缩写,rm是resourcemanager的缩写