Hadoop Yarn 工作机制

在这里插入图片描述

  1. MR程序提交到客户端所在节点。
  2. YarnRunner 向 ResourceManager 申请一个 Application。
  3. ResourceManager 将应用资源的上传路径返回 YarnRunner。
  4. 将资源上传至 hdfs,并申请运行 MRAppMaster。
  5. ResourceManager 将用户请求初始化为 Task。
  6. 一个 NodeManager 领取到 Task。
  7. 创建 Container,并产生MRAppMaster。
  8. Container 从 hdfs 拷贝资源到本地。
  9. MRAppMaster 向 ResourceManager 申请运行 MapTask。
  10. ResourceManager 将 MapTask 分配给另外两个 NodeManager, 领取任务并创建 Container。
  11. MR 向接收到任务的 NodeManager 发送程序启动脚本,这两个 NodeManager 分别启动 MapTask。
  12. MRAppMaster 等待所有 MapTask 运行完成之后,向 ResourceManager 申请运行 ReduceTask。
  13. ReduceTask 向MapTask 获取数据。
  14. 程序运行完成,MR 向 ResourceManager 申请注销自己。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值