资源管理方式
- 静态资源划分:将几圈中的所有资源做出静态划分,将划分后的固定的硬件资源指定给固定的计算框架使用,各框架之间各行其是,互不干扰。
缺点:资源整体利用率不高,经常会出现集群中有些计算系统资源不足,但是有些计算系统存在大量闲置资源的情形。 - 独立资源管理:在集群硬件层上抽象出一个功能独立的集群资源管理系统,将所有可用资源当成一个整体来进行管理,并对其他所有计算任务提供统一的资源管理与调度框架和接口,计算任务按需向其申请资源,使用完毕后释放给资源管理系统。
优点:
- 集群整体资源利用率高
- 可增加数据共享能力
- 支持多类型计算框架和多版本计算框架
资源管理抽象模型
- 概念模型:三要素—资源组织模型、调度策略、任务组织模型
- 概念模型图
- 资源组织模型:将集群中当前可用的各种资源采用一定的方式组织起来,以方便后续的资源分配过程。常见的资源组织方式是多层队列方式,其次是平级多队列和单队列模型。
- 调度策略:负责以一定的方式将资源分配给提交到系统的任务。常见的调度策略包括FIFO、公平调度、能力调度、延迟调度。
- 任务组织模型:将多用户提交的多任务按一定方式组织起来,方便后续的资源分配。
- 概念模型图
- 通用架构