YARN的架构包括ResourceManager（RM）、NodeManager（NM）、ApplicationMaster（AM）和Container。RM作为全局资源管理器，其调度器根据资源限制分配资源，应用程序管理器负责应用程序的提交和监控。NM在每个节点上管理资源和任务，AM与RM协商获取资源并监控任务。Container是资源抽象，封装了节点上的各种资源，用于限制任务的资源使用。
1. ResourceManager（RM）
RM 是一个全局的资源管理器，负责整个系统的资源管理和分配，它主要有两个组件构成：
- 调度器：Scheduler；
- 应用程序管理器：Applications Manager，ASM。
调度器
调度器根据容量、队列等限制条件（如某个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。要注意的是，该调度器是一个纯调度器，它不再从事任何与应用程序有关的工作，比如不负责重新启动（因应用程序失败或者硬件故障导致的失败），这些均交由应用程序相关的 ApplicationMaster 完成。调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配单位用一个抽象概念 资源容器(Resource Container，也即 Container)，Container 是一个动态资源分配单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。此外，该调度器是一个可插拔的组件，用户可根据自己的需求设计新的调度器，YARN 提供了多种直接可用的调度器，比如 Fair Scheduler 和 Capacity Schedule 等。
应用程序管理器
应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调度器协商资源以 AM、监控 AM 运行状态并在失败时重新启动它等。
2. NodeManager（NM）
NM 是每个节点上运行的资源和任务管理器，一方面，它会定时向 RM 汇报本节点上的资源使用情况和
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
