【云计算与大数据技术】集群资源统一管理系统YARN、Mesos、Omega讲解（图文解释 超详细）

相比于一种计算框架一个集群的模式，共享集群的模式具有以下三个优点

1：硬件共享 资源利用率高

2：人员共享  运维成本低

3：数据共享  数据复制开销低

一、集群资源统一管理系统

集群资源统一管理系统需要支持多种计算框架,并需要具有扩展性、容错 性和高资源利用率等几个特点

一个行之有效的资源统一管理系统需要包含资源管理、 分配和调度等功能

下图是统一管理与调度系统的基本架构图

商业服务器集群目前已经成为主要的计算平台,为互联网服务和大量的数据密集型 科学计算提供了强大的计算能力

当前多个计算框架公用一个服务器集群的方式是对集群进行静态划分,每个分区运行一个计算框架

另外一种方式是为每个计算框架分配一些虚拟机 VM,但是这些方法 都没有实现高利用率和数据共享

因此要设计一种集群资源管理系统支持多个计算框架，实现集群资源共享和高利用率，为了实现这一目标需要解决以下问题

支持多种不同的计算框架

集群资源管理系统需要支持良好的扩展性

需要具有良好的容错和高可靠性

二、Apache YARN

Apache Hadoop YARN (Yet Another Resource Negotiator，另一种资源协调者)是一种新的Hadoop资源管理器，它是一个通用资源管理系统

YARN的基本思想是将的两个主要功能(资源管理和作业调度/监控) 分离，主要方法是创建一个全局的 ResourceManager(RM)和若干个针对应用程序的 ApplicationMaster(AM) 

YARN分层结构的本质是ResourceManager，这个实体控制整个集群并管理应用程序像基础计算资源的分配

1：资源分配模型

 Map Slot

Reduce Slot

这些slot无法在Map任务和Reduce任务之间共享

2：协议组件

 Client-ResourceManager

ResourceManager– ApplicationMaster

ApplicationMaster-ContainerManager

三、Apache Mesos

Mesos 是以与Linux内核同样的原则创建的，不同点仅在于抽象的层面 

Mesos 内核运行在每一个机器上,同时通过 API为各种应用提供跨数据中心和云的资源管理调度能力

Master使用Resource Offers实现跨应用细粒度资源共享，如 CPU 、内存 、磁盘 、网络等

架构图如下

下图是一个计算框架运行在Mesos上的资源供给流程 分为四步

1：Agent1像Master报告有四个CPU和4GB内存可用

2：Master发送一个Resource Offer给Framework1来描述Agent1有多少可用资源

3：Framework1中的FW Scheduler会答复Master有两个Task需要运行在Agent1上，一个Task需要多少内存和CPU

最后Master发送这些Task给Agent1，之后分配模块把剩下的CPU和内存分配给其他Framework

 

 四、Google Omega

Mesos、YARN 等集群管理系统采用的是双层调度器，具有如下缺点

运行在这些集群管理系统上的计算框架无法知道整体集群的资源使用情况

并发粒度小，采用的是悲观方式的并发控制 (permissive concurrent control)

针对上述双层调度器 (two-level scheduler)的不足，Omega设计了共享状态调度器 (shared state scheduler)。该调度器将双层调度器中的集中式资源调度模块简化成了一些持久化的共享数据和针对这些数据的验证代码，而这里的共享数据实际上就是整个集群的实时资源使用信息

创作不易 觉得有帮助请点赞关注收藏~~~