YARN
THE ORDER
卷,学习笔记
展开
-
4 YARN资源调度器Scheduler
1 MR程序提交YARN交互流程 2 调度器策略 3 总结 FIFO Scheduler(先进先出调度器)、Capacity Scheduler(容量调度器)、Fair Scheduler(公平调度器)。原创 2022-02-10 14:17:58 · 382 阅读 · 0 评论 -
3 程序提交YARN交互流程
1 核心交互流程 2 整体概述 3 MR提交YARN交互流程 4 总结 MR作业提交 Client–>RM 资源的申请 MrAppMaster–>RM MR作业状态汇报 Container(Map|Reduce Task)–>Container(MrAppMaster) 节点的状态汇报 NM–>RM ...原创 2022-02-10 14:05:03 · 256 阅读 · 0 评论 -
2 Hadoop YARN架构、组件
1 YARN官方架构图 2 YARN 3大组件 3 总结 ResourceManager(RM) YARN集群中的主角色,决定系统中所有应用程序之间资源分配的最终权限,即最终仲裁者。 接收用户的作业提交,并通过NM分配、管理各个机器上的计算资源。 NodeManager(NM) YARN中的从角色,一台机器上一个,负责管理本机器上的计算资源。 根据RM命令,启动Container容器、监视容器的资源使用情况。并且向RM主角色汇报资源使用情况。 ApplicationMaster(AM) 用户原创 2022-02-10 14:00:48 · 708 阅读 · 0 评论 -
1 Hadoop YARN介绍
1 YARN简介 2 YARN功能说明 3 YARN概述 4 总结 YARN是一个通用资源管理系统和调度平台,可为上层应用提供统一的资源管理和调度。 资源管理系统:集群的硬件资源,和程序运行相关,比如内存、CPU等。 调度平台:多个程序同时申请计算资源如何分配,调度的规则(算法)。 通用:不仅仅支持MapReduce程序,理论上支持各种计算程序。YARN不关心你干什么,只关心你要资源,在有 的情况下给你,用完之后还我。 ...原创 2022-02-10 13:57:02 · 349 阅读 · 0 评论