作为Hadoop 2.0中出现的资源管理系统,Yarn总体上仍然是master/slave结构,在整个资源管理框架中,resourcemanager为master,nodemanager是slave。作为Hadoop生态系统的一部分,Yarn要想获得市场认可,必须学会与Hadoop生他系统中其他组件兼容。本文作为《Hadoop从入门到精通》大型专题的第二章第三节,主要介绍了Yarn如何与Hadoop生态系统中其他组件配合,这也是本专题有关Yarn概念的最后一节,如果你想了解更多关于Yarn的具体信息,可以访问本专题的其他文章,详见文末。
2.3 Yarn应用程序
随着时间的推移,我们已经看到了Yarn生态系统的快速增长。如今,我们生活在多数据中心运行多个不同系统的世界,如图2.13所示。所有系统都有其存在的价值,但对系统管理员和架构师带来了前所未有的挑战,他们需要支持这些系统并保证它们正常运转,系统之间的数据交换成本昂贵且复杂,每个系统都必须解决相同的分布式问题,例如容错、分布式存储、日志处理以及资源调度等。
图2.13
既然身在Hadoop生态之中,Yarn团队也为其融入整个生态和企业技术架构做出了很多努力,Yarn目前已经可以和多类组件或应用实现兼容。比如,Hoya的出现让HBase可