除了Hadoop之外,诞生于伯克利AMPLab、在Twitter得到成功应用的Apache Mesos,也是极具竞争力的大数据技术平台。Mesos基于Linux内核较新的资源隔离特性cgroups,据AMPLab仿真的结果,它可以不太费力地管理多达3万台服务器的集群。而且Mesos能在一个集群上支持各种语言的计算框架。
早先曾有批评说Mesos只适合短期运行的任务。但最近的进展很大程度解决了这一问题。从Twitter加盟AirBnB的Flo Leibert等开发了Chronos,相当于分布式的cron,可以批量运行服务。最近他与AirBnB的另一位技术核心Tobi Knaup合组了Mesosphere公司,并请Mesos之父Ben Hindman当顾问。刚刚发布的Marathon项目就出自这一新公司。Marathon相当于Unix里的init.d,支持长期运行的服务。这将大大方便数据科学家的工作。
参考