apache mesos_采访：Mesos集群管理器提议作为Apache Project

apache mesos

JAXenter就Mesos项目提案与Ion Stoica进行了交谈，并解释了其为何希望成为Apache生态系统的一部分。

JAXenter： Mesos刚刚被提议作为Apache Incubator项目。 您能给我们介绍一下Mesos项目吗？

Ion Stoica： Mesos是一个群集管理器，它允许多个应用程序（例如MapReduce，HBASE和MPI）共享一个群集，就像传统的操作系统允许应用程序共享一台计算机一样。 共享通过允许应用程序利用另一个应用程序的资源来提高群集利用率，否则该资源将无法使用。 例如，分析工作可以在非工作时间利用前端应用程序的资源。 Mesos还使应用程序可以共享相同的数据集。 每个群集运行一个应用程序的替代方案可能会禁止非常大的数据集，因为这将要求应用程序远程复制或访问数据。 最后，Mesos允许管理员通过缓慢增加应用程序的新版本来执行滚动升级。

为了支持当今集群计算应用程序（例如Hadoop或Dryad）的复杂调度程序，Mesos使用了分布式两级调度机制。 在第一层，Mesos决定为每个应用程序提供多少资源。 在第二级，应用程序自己决定接受哪些资源（由Mesos提供的资源）以及在其上运行的计算。

JAXenter：让一个实例控制整个集群的潜在问题是什么？ Mesos如何解决这个问题？

Ion Stoica： Mesos需要解决三个关键挑战：隔离，规模和可靠性。 在群集级别，Mesos通过控制每个应用程序接收多少资源来提供隔离。 在节点级别，Mesos通过利用现有的隔离机制（例如VM和Linux容器）来确保应用程序使用的资源不超过分配的资源。 Messos具有高度可伸缩性，因为它仅在整个应用程序之间调度资源，而让应用程序本身处理更复杂的工作，即决定运行哪个计算以及在何处运行。 最后，为了确保可靠性，Mesos使用Zookeeper来检测并选择新副本以从故障中恢复。

JAXenter： Mesos与现有的群集调度程序（例如Sun Grid Engine和Torque）相比有什么优势？

Ion Stoica： Mesos提供更好的谷物资源共享，对数据密集型应用程序提供更好的支持，并且比现有的群集调度程序更灵活。 这些属性部分是针对不同环境和工作负载的结果。 Mesos面向在商品集群上运行的数据密集型应用程序，这些商品在计算机之间分布存储。 相反，现有的群集调度程序通常采用专用硬件（例如Infiniband和SAN），并以计算密集型应用为目标。

Mesos以任务粒度分配资源，其中任务（例如，映射或简化）可能需要不到一分钟的时间才能完成。 这种细粒度的共享使应用程序可以通过轮流输入数据所在的节点来实现良好的数据局部性。 相反，传统的群集调度程序以作业粒度共享资源，其中作业可能需要几个小时才能完成，并且假定可以通过高速网络远程有效地访问数据。

Mesos的灵活性在于它允许应用程序制定自己的调度决策。 诸如Sun Grid Engine和Torque之类的系统要求应用程序指定其要求，并使用集中式调度程序来做出所有调度决策。

JAXenter：成为Apache孵化器项目如何使Mesos受益？

Ion Stoica：我们希望通过成为Apache孵化器，Mesos将吸引用户和开发人员。 我们作为开源团队的研究团队拥有丰富的经验（向Hadoop添加了一些调度功能），因此我们希望从一开始就使Mesos成为社区的一部分。 我们希望这将使已经使用Mesos的组织的开发人员成为活跃的贡献者。 最终，我们认为Apache鼓励软件项目目标和兴趣各不相同的社区的模型对于Mesos的采用至关重要。

翻译自: https://jaxenter.com/interview-mesos-cluster-manager-proposed-as-apache-project-102787.html

apache mesos