Hadoop 中的大数据技术：Yarn

Hadoop 中的大数据技术：Yarn

第一章 YARN资源调度器

思考：

1. 如何有效地管理集群资源？
2. 如何合理地为任务分配资源？

YARN（Yet Another Resource Negotiator）是一个分布式资源管理系统，它为各种计算任务提供统一的资源管理和调度。可以将YARN视作一个分布式的操作系统平台，而像MapReduce这样的计算框架则相当于在其上运行的应用程序。

1.1 YARN的基础架构

YARN主要由以下几个核心组件构成：

• ResourceManager (RM)：集群资源管理器，负责整个集群资源的管理和调度。
• NodeManager (NM)：单个节点上的资源管理器，执行具体的资源管理和监控。
• ApplicationMaster (AM)：每个应用程序的管理者，负责应用程序的任务调度和协调。
• Container：封装了计算任务所需的资源（如内存、CPU等），是资源分