YARN架构详解

本文详细介绍了YARN架构,包括ResourceManager、NodeManager、ApplicationMaster的角色和功能。ResourceManager分为Scheduler和ApplicationsManager,负责资源分配和应用管理。NodeManager执行任务并向RM发送心跳信息。ApplicationMaster协调任务执行,申请资源并监控任务状态。YARN还支持资源预留和集群联邦,以扩展到大规模节点并确保资源的可预测执行。
摘要由CSDN通过智能技术生成

Clinet、ResourceManager、NodeManager、ApplicationMaster
master/slave:RM/NM

Clinet:向RM提交任务,杀死任务

ApplicationMaster:每个应用程序对应一个AM,AM向RM申请资源用于在NM上启动对应的Task,数据切分,为每个Task向RM申请资源(container),NodeManager通信,任务的监控

NodeManager(多个):干活、向RM发送心跳信息、任务的执行情况、启动任务,接受来自RM的请求来启动任务,处理来自AM的命令

ResourceManager:集群中同一时刻对外提供服务的只有一个,负责资源相关,处理来自客户端的请求:提交、杀死
启动/监控AM
监控NM
资源相关

container:任务的运行的抽象
memory、cpu…
task是运行在container里面的
可以运行am、也可以运行map/reduce task

The ResourceManager has two main components: Scheduler and ApplicationsManager.

The Scheduler is responsible for allocating resources to the various running applications subject to familiar constraints of capacities, queues etc. The Scheduler is pure scheduler in the sense that it performs no monitoring or tracking of status for the application. Also, it

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值