YARN
THE ORDER
卷,学习笔记
展开
-
4 YARN资源调度器Scheduler
1 MR程序提交YARN交互流程2 调度器策略3 总结FIFO Scheduler(先进先出调度器)、Capacity Scheduler(容量调度器)、Fair Scheduler(公平调度器)。原创 2022-02-10 14:17:58 · 380 阅读 · 0 评论 -
3 程序提交YARN交互流程
1 核心交互流程2 整体概述3 MR提交YARN交互流程4 总结MR作业提交 Client–>RM 资源的申请 MrAppMaster–>RM MR作业状态汇报 Container(Map|Reduce Task)–>Container(MrAppMaster) 节点的状态汇报 NM–>RM...原创 2022-02-10 14:05:03 · 255 阅读 · 0 评论 -
2 Hadoop YARN架构、组件
1 YARN官方架构图2 YARN 3大组件3 总结ResourceManager(RM)YARN集群中的主角色,决定系统中所有应用程序之间资源分配的最终权限,即最终仲裁者。接收用户的作业提交,并通过NM分配、管理各个机器上的计算资源。 NodeManager(NM)YARN中的从角色,一台机器上一个,负责管理本机器上的计算资源。根据RM命令,启动Container容器、监视容器的资源使用情况。并且向RM主角色汇报资源使用情况。 ApplicationMaster(AM)用户原创 2022-02-10 14:00:48 · 703 阅读 · 0 评论 -
1 Hadoop YARN介绍
1 YARN简介2 YARN功能说明3 YARN概述4 总结YARN是一个通用资源管理系统和调度平台,可为上层应用提供统一的资源管理和调度。资源管理系统:集群的硬件资源,和程序运行相关,比如内存、CPU等。 调度平台:多个程序同时申请计算资源如何分配,调度的规则(算法)。 通用:不仅仅支持MapReduce程序,理论上支持各种计算程序。YARN不关心你干什么,只关心你要资源,在有的情况下给你,用完之后还我。...原创 2022-02-10 13:57:02 · 348 阅读 · 0 评论