Hadoop生态最牛逼的组件，HDFS排第二，它排第一！

曾有人调侃：HBase 没有资源什么事情也做不了，Spark 占用了资源却没有事情可做？

那 YARN了解一下？

01

YARN！

伴随着Hadoop生态的发展，不断涌现了多种多样的技术组件 Hive、HBase、Spark……它们在丰富了大数据生态体系的同时，也引发了新的问题思考。

熟悉大数据底层平台的朋友，应该都了解这些为大数据场景设计的技术组件不仅个个都是消耗资源的大户，而且它们本有一套自己的资源调度系统用来管理任务的资源分配，但同时部署在一起的时候就出问题了：

一、某些组件可能申请不到服务器资源。

二、可能会出现资源分配不合理的情况，导致整体资源使用率偏低。

为了解决这些问题，则迫切需要一种通用的资源调度框架，对整个集群的资源进行统筹管理。

02

YARN有何优势？

YARN 在 Hadoop 集群中充当资源管理和任务调度的框架，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

YARN 解决了 Hadoop 第一代集群资源调度框架上可靠性差、扩展性差等一系列问题，我们来看一下它的优势：

1. 提出了 HDFS Federation，能够让多个 NameNode 分管不同的目录进而实现访问隔离和横向扩展；

2. 将资源管理和作业控制分离，ResouceManager专管资源管理和调度，ApplicationMaster负责与具体应用程序相关的任务切分、任务调度和容错等，每个应用程序对应一个ApplicationMaster；

3. 具有向后兼容性，用户在 MRv1上运行的作业，不用修改即可运行在 YARN 之上；

4. 能够支持不同的计算框架，可以将各种各样的计算框架移植到 YARN 之上，由 YARN 进行统一管理和资源分配；

5. 框架升级更容易，各种计算框架不再是作为一个服务部署到集群的各个节点上而是被封装成一个用户程序库（lib）存放在客户端，想对计算框架进行升级时，只要升级用户程序库即可。

众所周知，Spark、Hive等一系列服务都可以作为应用运行在YARN之上，统一使用 YARN 为整个集群资源进行宏观的调度与分配。

而对于学习YARN不仅为了应对工作上遇到的相关技术问题，更是因为想要成功进入阿里、字节还是美团等互联网大厂，YARN在面试时都是高频考点，所以掌握它至关重要。

正好我也在在补 Hadoop 生态的核心原理，这里推荐一门刚撸完的独家好课，由前58技术委员会主席孙玄，结合10多年一线大厂实践经验，打造的《源码级剖析分布式资源调度引擎 YARN 内核》在线专栏。3 天时间，12节干货，带你从大数据高峰视角，彻底看透 YARN 的内核设计本质。

原价 ¥499，限时 ¥0.99 立刻学习！

长按扫码👆，锁定 ¥0.99 名额

仅前 50 人有效，先到先得！

报名即享受大厂专属内推

更有求职大礼包，免费送～

主讲马中华老师，是阿里云/腾讯云认证的全球首位金牌讲师，在 Oracle 有多年的大数据开发经验。跟着他学习 YARN 的源码架构与内核，有问题就在直播间和群里随时提问，几乎没有什么好顾虑的。况且，前转转公司大数据资深架构师、Hadoop平台负责人李希沅老师也会加入授课，解答你所以大数据的核心问题。

这套在线专栏原价 499，现在花 0.99 元，就能马上学习，绝对相当划算。重要的是现在课程重磅升级，升级后的课程体系紧随一线互联网大厂前沿技术，新增实战项目、高级商业项目，全方位提升学员实战能力，全面提升课程的实用性、先进性。

12 节名师精心打磨的大数据架构师必备技术知识精品课程，10月18日 - 20日，3天速成，晚20:00-22:00点，助你赶超下一个行业风口。

重要提醒：一次报名，全程赠送讲师答疑服务！报名即可领取价值 99 元的 12 本程序员必读电子书目。数据库、Hadoop、Docker、Hive、Hbase 一应俱全，帮助你在通过课程提升的基础上，从理论层面全面进阶。

VIP课程免费领取：报名就送价值 499元的【SparkStreaming企业级实战训练营】，针对企业级实时处理方案进行全方位的讲解。内容包含：SparkStreaming技术的核心原理剖析，SparkStreaming项目的企业级架构设计方案，SparkStreaming实时任务的监控告警架构设计方案等。

03

我为什么推荐你学习这门课

报名成功后，前58技术委员会主席孙玄、前转转公司资深大数据架构师李希沅和马中华家老师，将全程为你提供答疑服务，并在为期 3 天的实战训练营中，重点培养你具备以下能力：

1. 完全通晓 YARN 如何应对高并发请求处理

2. 彻底理解 YARN 的内核架构设计与实现

3. 轻松吸收 YARN 源码编程实现中的实用技巧

4. 细致掌握 YARN 的工作机制和底层原理

课程模块

本期精品课程为期3天，内容由3大篇章12大模块构成，包括：

• Day01 YARN 高并发网络通信 RPC 架构设计和源码实现

• Day02 YARN 内核架构三大核心组件深度剖析
  

• Day03 YARN Application 提交和部署运行全流程详解

模块一：高并发网络通信 RPC 架构设计和源码实现篇

在第一天课程中，名师将深入为你讲解 YARN RPC 架构设计与源码实现，重点剖析一线大厂面试中经常问及的通信协议、心跳机制、验活机制等核心概念。

模块二：内核架构三大核心组件深度剖析篇

第二天课程将深入解读 YARN 内核架构的三大核心组件，帮助你了解Service 工作机制、AsyncDispatcher 异步驱动模型、EnventHandler 事件处理器、StateMachine 状态机设计。

模块三：Application 提交和部署运行全流程详解篇

最后一天课程将以万亿级企业大数据平台为引，全流程带你深入掌握 YARN Application 等核心部分的应用与实战。

明星级教学教研团队

金牌教研团，平均从业年限10年以上，具备大厂实战经验，对技术深度钻研，对教学精益求精，历时半年精打细磨。

行业大咖级主讲，Apache Pulsar、Apache BookKeeper 核心 PMC 与 Committer。

备教测练评学习闭环，帮助学员循序渐进提升技术硬实力，老师全程辅导，稳步提升职场软实力。

“真”内推

目前，奈学和猎聘已达成深度合作，持续推出多行业、多领域、有深度的真项目课程，更贴合大厂企业技术要求。学完后，可直接内推到字节、阿里、 腾讯、百度等大厂，相当于为企业定向招聘，为每一位学员私人定制内推就业服务。

适合谁学

技术浪潮一个接一个，总会有新技术不断涌现，作为技术从业者，最怕的就是还在用老技术解决别人早就解决了的问题。如果你是一名：

1. 分布式系统开发工程师

2. 大数据平台工程师

3. 大数据研发工程师

4. 大数据架构师

5. 数据仓库工程师

6. 后端开发工程师（Java/Go/C++/PHP/Python等语言方向）

7. 架构师（大数据/云原生/平台/系统/业务等方向）

那么，这门实践精品课正是为你量身定做的！

行业名师好评如潮

教研教学更有保障

左右滑动查看更多

源码级剖析大数据核心框架 YARN 

大数据架构师必知必会

你需要真正掌握它！

12 节干货

3 天速成精品课

原价499 

历史新低价 0.99

错过再等一年

👇👇👇

本公众号仅限前50名特惠购买

请耐心等待课程顾问通过

0.99 低价好课

赠送超值电子书、名师答疑服务

👇 点击“阅读原文”抢占优惠名额！