MR on Yarn

本文介绍了YARN框架中的关键角色,如ResourceManager、Applications Manager、Resource Scheduler、NodeManager和ApplicationsMaster,以及作业提交、资源分配、任务执行和监控的过程。通过详细步骤展示了MapReduce作业如何在YARN上运行,包括applicationMaster的注册、资源申请、任务启动和状态报告,最终完成作业。
摘要由CSDN通过智能技术生成

相关角色介绍
   ResourceManager 资源作业管理者  
         Applications Manager 作业管理,是所有作业的老大,web界面信息从这里查询
         Resource Scheduler 资源调度
   NodeManager   节点者
   ApplicationsMaster:某个job的老大,他来申请资源以及管理和监控整个作业生命周期,运行在Container上
   Container:运行某个作业的全部或部分task
 

流程详解
1)用户向yarn rm apps manager提交作业(job),其中包括applicationMaster程序、、启动applicationMaster命令等。

2)RM为该job分配第一个容器,并与对应的NM通信,要求它运行这个容器并在这个容器中去启动该job的MR applicationMaster程序。

3)applicationMaster首先向Applications Manager注册,用户就可以直接在web界面查看job的整个运行状态和日志。

4)applicationMaster向Resource Scheduler 采用轮询的方式通过RPC协议去申请和领取资源列表

5)一旦applicationMaster申请到资源的后,便与对应的NM节点通信,要求启动任务。

6)NM为任务task设置好运行环境(环境变量、jar包等)ÿ

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值