背景
Hadoop集群只能运行一种单一的MapReduce应用程序,这使得它很难运行不符合map-reduce模型的应用程序。如果要想在Hadoop集群上安装Spark应用程序,那么必须为Spark安装一套全新的worker和master。从利用率的角度来看这种方式非常不理想,因为他们通常是静态分区的。因而数据中心需要单个集群上运行多个框架,保证资源的最大利用和框架之间的数据共享。
Mesos是一个通用的资源共享层,不同的框架运行在它上面。可以运行同一框架的多个实例。
Mesos的目标
- 资源的高效利用
- 支持多种不同框架
- 扩展10K以上的节点
- 面对故障的可用性
1、细粒度的资源共享
* 在job内task级别的资源申请;
* 改进资源的利用,访问延迟以及数据的局部性;
2、 资源的提供
一种简单的、可扩展的、应用可控的调度机制。Mesos向框架提供了可用的资源,让框架自身去选择资源的使用和任务的启动。
Mesos架构
总体上看,Mesos是一个master/slave结构,mesos保存了框架和me

Mesos是一个旨在实现资源高效利用和多框架支持的数据中心资源共享平台,支持细粒度资源共享和扩展到10K以上节点。其架构包括master、slave、scheduler和executor,通过双层调度实现资源分配。Mesos允许动态资源调整,并可在Spark集群的Standalone、Yarn和Mesos模式间进行对比选择。
最低0.47元/天 解锁文章
1433

被折叠的 条评论
为什么被折叠?



