第七部分:Yarn资源调度

一、Yarn框架

        ResourceManager(rm):处理客户端请求,启动/监控ApplicationMaster,监控NodeManager、资源调度与分配。
        NodeManager(nm):单节点上的资源管理,处理来自rm的命令,处理来自am的命令。
        ApplicationMaster(am):数据切分、为应用程序申请资源,并分配给内部任务、任务的监控与容错。
        Container:对运行环境的抽象,封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息。 

二、Yarn任务提交(工作机制)

         提交作业
                1.Client调用job.waitForCompletion()方法,向整个集群提交MapReduce作业。
                2.Client向rm申请一个作业id。
                3.rm返回给Client该job资源提交路径和作业id。
                4.Client提交jar、切片信息、配置文件到到指定资源提交路径。
                5.Client提交完资源后,向rm申请运行mr AppMaster。<

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值