学习笔记 | YARN 统一资源管理与调度 YARN

本文介绍了YARN作为统一资源管理与调度系统的设计理念和实现方式,包括资源管理的统一性、调度器的三种类型:集中式、双层和状态共享,并详细解析了YARN的架构和MapReduce作业的启动流程。
摘要由CSDN通过智能技术生成
  • 统一资源管理与调度系统的设计;
  • 统一资源管理与调度系统的实现——YARN。

01 统一资源管理与调度系统的设计

YARN 的全称是 Yet Another Resource Negotiator,直译过来是:另一种资源协调者,但是它的标准名称是统一资源管理与调度系统,这个名称一共包含 3 个词:统一、资源管理、调度。

来看看第 1 个词语:统一
  • 对于大数据计算框架来说,统一指的是资源并不会与计算框架绑定,对于所有计算框架来说,所有资源都是无差别的,也就是说这个系统可以支持多种计算框架,但这是狭义的统一。而广义上的统一,是指资源针对所有应用来说都是无差别的,包括长应用、短应用、数据库、后端服务,等等。
来看看第 2 个词语:资源管理
  • 对于资源管理来说,最重要的是了解对于这个系统,什么才是它的资源,或者说是资源的维度,常见的有 CPU、内存、磁盘、网络带宽等,对于 YARN 来说,资源的维度有两个:CPU 和内存。这也是大数据计算框架最需要的资源。
最后一个词语:调度
<
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值