![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
_Jedis
这个作者很懒,什么都没留下…
展开
-
Yarn工作流程及Job提交机制
1.MR程序创建成功后,需要提交到HDFS上运行,MR程序提交到客户端所在的节点。2.YarnRunner向ResourceManager申请提交一个Application。3.ResourceManager返回应用程序需要提交的资源路径和ApplicationId。4.YarnRunner提交资源到HDFS上,包含Job.xml、Job.split、xx.jar,资源提交完毕之后,向ResourceManager申请一个运行MRApplicationMaster,一个Application对应一个.原创 2020-09-22 09:03:09 · 337 阅读 · 0 评论 -
Yarn架构介绍
一、概述很多文章都有详细介绍Yarn的,在这里就不在进行介绍了。直接进入主题。二、架构组件前言:yarn是类似Hadoop的架构,也是主从的的经典架构。1、ResourceManagerResourceManager是yarn中主的角色。ResourceManager是一个全局资源管理器,整个集群中只有一个ResourceManager对外提供服务,负责集群内所有应用资源的管理和分配,处理客户端的请求。启动和监控ApplicationMaster,监控NodeManager,资源.原创 2020-09-18 18:17:00 · 394 阅读 · 0 评论