yarn(Yet Another Resource Negotiator)

本文介绍了Hadoop MapReduce从v1到v2(基于YARN)的演变,强调了YARN如何解决MRv1的耦合问题,以及其作为通用资源调度框架的角色。在YARN中,Resource Manager负责任务接收和调度,而Node Manager管理本地资源。YARN使得Application Master分布式运行,增强了系统的弹性和可扩展性,允许其他框架如Spark也能利用YARN的资源管理能力。
摘要由CSDN通过智能技术生成

hadoop的MRv1

  • JobTracker
  1. 接收client端提交的任务;
  2. 分配任务给TaskTracker;
  3. 监控TaskTracher;
  • TaskTracher
  1. 执行JobTracher分配给自己的任务
  • 缺点:
  1. 计算资源和计算模型的管理调度耦合。即JobTracker自己资源调度、并监控管理TaskTracker
  2. 集群的资源受jobTracker的能力限制
  3. 不是一个通用框架,只是针对hadoop的mr

hadoop的MRv2(on yarn)

  • 当启动yarn时,会在制定的节点存在resourceManager进程,在每个slaves的配置文件中配置的节点上存在nodeManager进程。
  • resourceManager(Ha通过zookeeper )负责任务接收和调度:
  1. 任务接收;applicationManager。当client提交applicationMaster给rm时,applicationManager进行任务接收,并分配一个container给这个applicationMaster,之后管理该applicationMaster,进行失败重启等。
  2. 任务调度;Scheduler。nodeManager会定期向rm汇报每个nodeManager的资源情况。当applicationMaster向rm询问执行task的资源时,Scheduler负责调度。
  • nodeManager会负责向管理本地资源并向rm汇报本地资源使用情况;分
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值