![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
YARN
Lv_Hulk
从“0”到“1”!
展开
-
YARN的介绍
YARN的介绍(一)YARN 概述YARN 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。1、YARN 并不清楚用户提交的程序的运行机制2、YARN 只提供运算资源的调度(用户程序向 YARN 申请资源,YARN 就负责分配资源)3、YARN 中的主管角色叫 ResourceM...原创 2019-02-17 10:50:26 · 1037 阅读 · 0 评论 -
YARN的架构、各角色职责、YARN的优点、资源管理、内存管理、CPU管理
YARN的架构YARN:YARN的最基本思想是将JobTracker的两个主要职责:资源管理和Job调度管理分别交给两个角色负责。一个是全局的ResourceManager,一个是每个应用一个的ApplicationMaster。ResourceManager以及每个节点一个的NodeManager构成了新的通用系统,实现以分布式方式管理应用。YARN的架构图各角色职责:Resouce...原创 2019-02-17 11:34:45 · 4079 阅读 · 0 评论 -
YARN 作业执行流程
YARN 作业执行流程YARN 作业执行流程:1、用户向 YARN 中提交应用程序,其中包括 MRAppMaster 程序,启动 MRAppMaster 的命令,用户程序等。2、ResourceManager 为该程序分配第一个 Container,并与对应的 NodeManager 通讯,要求它在这个 Container 中启动应用程序 MRAppMaster。3、MRAppMaste...原创 2019-02-17 11:45:09 · 744 阅读 · 0 评论 -
Job提交过程
Job提交过程1.客户端向resourceManager提交job运行请求。2.resourceManager进行检查,没有问题向客户端返回一个共享资源路径和一个jobId.3.客户端将共享资源放在共享资源路径下4.客户端向resourceManager进行反馈共享资源放置完毕,进行job的真正提交5.resourceManager为这个job分配一个节点,并在这个节点上启动MRapp...原创 2019-02-17 13:15:11 · 698 阅读 · 0 评论