yarn的特征

与mapReduce1相比,yarn可以在更大规模的集群上运行,当节点达到4000,任务数达到40000时,mapDeduce1会遇到可扩展瓶颈,瓶颈在于jobtracker必须同时管理作业和任务这样一个事实,yarn利用其资源管理器和application master分类的架构优点客服了这个局限性,可以扩展到面向将近10000个节点和10万个任务。

在某种程度上,可以说yarn的最大优点在于向mapReduce以外的其它类型的分布式开放了hadoop,mapReduce仅仅是许多yarn应用中的一个。

用户甚至可以在同一个yarn集群上运行不同版本的mapReduce.

yarn有三种调度可用,FIFO,容器调度器(Capacity scheduler)和公平调度器(Fair Scheduler)


阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页