yarn的特征

与mapReduce1相比,yarn可以在更大规模的集群上运行,当节点达到4000,任务数达到40000时,mapDeduce1会遇到可扩展瓶颈,瓶颈在于jobtracker必须同时管理作业和任务这样一个事实,yarn利用其资源管理器和application master分类的架构优点客服了这个局限性,可以扩展到面向将近10000个节点和10万个任务。

在某种程度上,可以说yarn的最大优点在于向mapReduce以外的其它类型的分布式开放了hadoop,mapReduce仅仅是许多yarn应用中的一个。

用户甚至可以在同一个yarn集群上运行不同版本的mapReduce.

yarn有三种调度可用,FIFO,容器调度器(Capacity scheduler)和公平调度器(Fair Scheduler)


阅读更多
个人分类: 大数据
想对作者说点什么? 我来说一句

深入解析YARN架构设计与实现原理

2018年04月04日 18.84MB 下载

Yarn ResourceManager HA配置

2018年03月14日 307KB 下载

DCOS on YARN 在移动 的实践

2018年03月20日 2.93MB 下载

新一代计算框架YARN实战

2018年01月14日 871KB 下载

没有更多推荐了,返回首页

不良信息举报

yarn的特征

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭