Resource manager自学

1.RM 是一个全局的资源管理器,集群中只有一个该角色,负责整个系统的
资源管理和分配,包括处理客户端请求、启动/监控 APP master、监控 node
manager等。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器
(Applications Manager,ASM)。

调度器

调度器根据容量、队列等限制条件(如每个队列分配一定的资源,最多执
行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序。需

要注意的是,该调度器是一个“纯调度器”,它不再从事任何与具体应用程序
相关的工作,比如不负责监控或者跟踪应用的执行状态,也不负责重启因应用
执行失败或硬件故障产生的失败任务,这些均交由应用程序相关的 Application
Master完成。

调度器仅根据各个应用程序的资源需求进行资源分配,而资源分配单位用
一个抽象概念“资源容器”(Resource Container,简称 Container)表示,
Container是一个动态资源分配单位,它将内存、CPU、磁盘、网络等资源封装
在一起,从而限定每个任务使用的资源量。此外,该调度器是一个可插拔的组
件,用户可根据自己的需要设计新的调度器,YARN提供了多种直接可用的调
度器,比如 Fair Scheduler和 Capacity Scheduler 等。

应用程序管理器( (Application Master )

应用程序管理器负责管理整个系统中所有应用程序,包括应用程序提交、
与调度器协商资源以启动 Application Master、监控 Application Master 运行状态
并在失败时重新启动它等

©️2020 CSDN 皮肤主题: 黑客帝国 设计师:上身试试 返回首页