![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
YARN
Lv_Hulk
从“0”到“1”!
展开
-
YARN的介绍
YARN的介绍 (一)YARN 概述 YARN 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。 1、YARN 并不清楚用户提交的程序的运行机制 2、YARN 只提供运算资源的调度(用户程序向 YARN 申请资源,YARN 就负责分配资源) 3、YARN 中的主管角色叫 ResourceM...原创 2019-02-17 10:50:26 · 1037 阅读 · 0 评论 -
YARN的架构、各角色职责、YARN的优点、资源管理、内存管理、CPU管理
YARN的架构 YARN: YARN的最基本思想是将JobTracker的两个主要职责:资源管理和Job调度管理分别交给两个角色负责。一个是全局的ResourceManager,一个是每个应用一个的ApplicationMaster。ResourceManager以及每个节点一个的NodeManager构成了新的通用系统,实现以分布式方式管理应用。 YARN的架构图 各角色职责: Resouce...原创 2019-02-17 11:34:45 · 4077 阅读 · 0 评论 -
YARN 作业执行流程
YARN 作业执行流程 YARN 作业执行流程: 1、用户向 YARN 中提交应用程序,其中包括 MRAppMaster 程序,启动 MRAppMaster 的命令,用户程序等。 2、ResourceManager 为该程序分配第一个 Container,并与对应的 NodeManager 通讯,要求它在这个 Container 中启动应用程序 MRAppMaster。 3、MRAppMaste...原创 2019-02-17 11:45:09 · 743 阅读 · 0 评论 -
Job提交过程
Job提交过程 1.客户端向resourceManager提交job运行请求。 2.resourceManager进行检查,没有问题向客户端返回一个共享资源路径和一个jobId. 3.客户端将共享资源放在共享资源路径下 4.客户端向resourceManager进行反馈共享资源放置完毕,进行job的真正提交 5.resourceManager为这个job分配一个节点,并在这个节点上启动MRapp...原创 2019-02-17 13:15:11 · 698 阅读 · 0 评论