YARN（Yet Another Resource Negotiator）是Hadoop的资源管理系统，由ResourceManager、NodeManager、ApplicationMaster和Container组成。ResourceManager负责处理客户端请求、监控NodeManager、启动或监控ApplicationMaster并进行资源调度。NodeManager管理节点资源，执行ApplicationMaster的命令。ApplicationMaster负责数据切分、申请资源和任务监控。Container是资源抽象，包含内存、CPU等资源。YARN的工作机制包括作业提交全过程，涉及作业提交、初始化、任务分配、任务运行等步骤。资源调度器有FIFO、Capacity Scheduler和Fair Scheduler，其中Capacity Scheduler是默认的，支持多队列和资源公平分配。
YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。
1 YARN架构
1）ResourceManager（RM）主要作用如下：
（1）处理客户端请求
（2）监控NodeManager
（3）启动或监控ApplicationMaster
（4）资源的分配与调度
2）NodeManager（NM）主要作用如下
（1）管理各个节点上的资源
（2）处理来自ResourceManager的命令
（3）处理来自ApplicationMaster的命令
3）ApplicationMaster（AM）作用如下
（1）负责数据的切分
（2）为应用程序申请资源并分配个内部的任务
（3）任务的监控与容错
4）Container
Container是YARN中的资源抽象，它封装了某个节点上的维度资源，如内
存、CPU、磁盘、网络等
2 YARN工作机制
（1）MR程序提交到客户端所在的节点
（2）YarnRunner 向 ResourceManager 申请一个Application
（3）RM将该应用程序的资源路径返回给YarnRunner
（4）该程序将运行所需资源提交到HDFS上
（5）程序资源提交完毕后，申请运行mrAppMaster
（6）RM将用户的请求初始化成一个Task
（7）其中一个NodeManager领取到Task任务
（8）该NodeManager创建容器Container，并产生MRAppmaster
（9）Container从HDFS上拷贝资源到本地
（10）MRAppmaster向RM 申请运行MapTask资源
（11）RM将运行MapTask任务分配给另外两个NodeManager，另两个
NodeManager分别领取任务并创建容器
（12）MR向两个接收到任务的NodeManager发送程序启动脚本，这两个
NodeManager分别启动MapTask，MapTask对数据分区排序
（13）MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行
ReduceTask
（14）ReduceTask向MapTask获取相应分区的数据
（15）程序运行完毕后，MR会向RM申请注销自己
3 作业提交全过程
作业提交全过程详解
（1）作业提交
第1步：Client调用job.waitForCompletion方法，向整个集群提交
MapReduce作业。
第2步：Client向RM申请一个作业id。
第3步：RM给Client返回该job资源的提交路径和作业id。
第4步：Client提交jar包、切片信息和配置文件到指定的资源提交路径。
第5步：Client提交完资源后，向RM申请运行MrAppMaster。
（2）作业初始化
第6步：当RM收到Client的请求后，将该job添加到容量调度器中。
第7步：某一个空闲的NM领取到该Job。
第8步：该NM创建Container，并产生MRAppmaster。
第9步：下载Client提交的资源到本地。
（3）任务分配
第10步：MrAppMaster向RM申请运行多个MapTask任务资源。
第11步：RM将运行MapTask任务分配给另外两个NodeManager，另两个
NodeManager分别领取任务并创建容器。
（4）任务运行
第12步：MR向两个接收到任务的NodeManager发送程序启动脚本，这两
个NodeManager分别启动Ma
最低0.47元/天 解锁文章
3214
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
