Mesos:数据中心细粒度的资源共享平台

Mesos是一个旨在实现资源高效利用和多框架支持的数据中心资源共享平台,支持细粒度资源共享和扩展到10K以上节点。其架构包括master、slave、scheduler和executor,通过双层调度实现资源分配。Mesos允许动态资源调整,并可在Spark集群的Standalone、Yarn和Mesos模式间进行对比选择。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

背景

Hadoop集群只能运行一种单一的MapReduce应用程序,这使得它很难运行不符合map-reduce模型的应用程序。如果要想在Hadoop集群上安装Spark应用程序,那么必须为Spark安装一套全新的worker和master。从利用率的角度来看这种方式非常不理想,因为他们通常是静态分区的。因而数据中心需要单个集群上运行多个框架,保证资源的最大利用和框架之间的数据共享。

这里写图片描述

Mesos是一个通用的资源共享层,不同的框架运行在它上面。可以运行同一框架的多个实例。
Mesos

Mesos的目标

  • 资源的高效利用
  • 支持多种不同框架
  • 扩展10K以上的节点
  • 面对故障的可用性

1、细粒度的资源共享

*   在job内task级别的资源申请;
*   改进资源的利用,访问延迟以及数据的局部性;

细粒度的资源共享

2、 资源的提供
一种简单的、可扩展的、应用可控的调度机制。Mesos向框架提供了可用的资源,让框架自身去选择资源的使用和任务的启动。

Mesos架构

Mesos架构
总体上看,Mesos是一个master/slave结构,mesos保存了框架和me

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值