YARN 工作机制

  • YARN 工作机制
    (1)MR 程序提交到客户端所在的节点;
    (2)YarnRunner 向 ResourceManager 申请一个 Application;
    (3)ResourceManager 将该应用程序的资源路径返回给 YarnRunner;
    (4)该程序将运行所需资源提交到 HDFS 上;
    (5)程序资源提交完毕后,申请运行 MRAppMaster;
    (6)ResourceManager 将用户的请求初始化成一个 Task;
    (7)其中一个 NodeManager 领取到 Task 任务;
    (8)该 NodeManager 创建容器 Container,并产生 MRAppMaster;
    (9)Container 从 HDFS 上拷贝资源到本地;
    (10)MRAppMaster 向 ResourceManager 申请运行 MapTask 资源;
    (11)ResourceManager 将 MapTask 任务分配给另外两个 NodeManager,另两个 NodeManager 分别领取任务并创建容器;
    (12)MR 向两个接收到任务的 NodeManager 发送程序启动脚本,这两个NodeManager 分别启动 MapTask,MapTask 对数据分区排序;
    (13)MRAppMaster 等待所有 MapTask 运行完毕后,向 ResourceManager 申请容器,运行 ReduceTask;
    (14)ReduceTask 向 MapTask 获取相应分区的数据;
    (15)程序运行完毕后,MR 会向 ResourceManager 申请注销自己;
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值