yarn 的诞生解决了 Hadoop 1.x 的什么问题?

Hadoop 由MapReduce和HDFS组成,1.x版本设计缺陷是单点故障,即MR的JobTracker和HDFS的NameNode两个核心服务均存在单点问题,这使得Hadoop在相当长时间内仅适合离线存储和离线计算。

Hadoop 2.0由三个分支组成,分别是HDFS、MapReduceYARN,YARN是Hadoop 2.x中的资源管理系统,它是一个通用的资源管理模块,可为各类应用程序进行资源管理和调度。YARN不仅限于MapReduce一种框架使用,也可以供其他框架使用,Spark、Storm等。

 

Yarn的作用:解耦资源与计算

 

角色:

        ResouceManager:主节点,核心,集群节点的资源管理

        NodeManager:与ResouceManager汇报资源,管理Container的生命周期

        Container:附属于NodeManager中,封装了CPU、MEM、I/O大小等的多维资源以及环境变量,启动命令等任务相关的信息

         ApplicationMaster:为应用程序申请资源,并分配给内部任务

 

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值