Hadoop
文章平均质量分 77
Hadoop
只有光头才能强
这个作者很懒,什么都没留下…
展开
-
Yarn的基本架构(设计思想)
Yarn 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。一个ResourceManager和多个NodeManager构成了Yarn资源管理框架。他们是Yarn启动后长期运行的守护进程,来提供核心服务。Yarn 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。1 ) ResourceManager .原创 2020-11-22 21:11:14 · 678 阅读 · 0 评论 -
Yarn工作机制
1. Yarn 运行机制,如图所示。2. 工作机制详解(1) MR 程序提交到客户端所在的节点。(2) YarnRunner 向 ResourceManager 申请一个 Application。(3) RM 将该应用程序的资源路径返回给 YarnRunner。(4) 该程序将运行所需资源提交到 HDFS 上。(5) 程序资源提交完毕后,申请运行 MRAppMaster。(6) RM 将用户的请求初始化成一个 Task。(7) 其中一个 NodeManager 领取到 Task 任务。(8)原创 2020-11-22 21:29:49 · 460 阅读 · 0 评论