yarn的特征

与mapReduce1相比,yarn可以在更大规模的集群上运行,当节点达到4000,任务数达到40000时,mapDeduce1会遇到可扩展瓶颈,瓶颈在于jobtracker必须同时管理作业和任务这样一个事实,yarn利用其资源管理器和application master分类的架构优点客服了这个局限性,可以扩展到面向将近10000个节点和10万个任务。

在某种程度上,可以说yarn的最大优点在于向mapReduce以外的其它类型的分布式开放了hadoop,mapReduce仅仅是许多yarn应用中的一个。

用户甚至可以在同一个yarn集群上运行不同版本的mapReduce.

yarn有三种调度可用,FIFO,容器调度器(Capacity scheduler)和公平调度器(Fair Scheduler)


  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值