YARN：Hadoop 资源管理与调度框架

最新推荐文章于 2024-10-16 10:56:54 发布

沐七小殿下

最新推荐文章于 2024-10-16 10:56:54 发布

阅读量1k

点赞数 11

分类专栏：大数据文章标签： hadoop 大数据分布式

本文链接：https://blog.csdn.net/qq_27128467/article/details/142443322

版权

大数据专栏收录该内容

3 篇文章 0 订阅

订阅专栏

YARN (Yet Another Resource Negotiator) 是 Hadoop 生态系统中一个至关重要的资源管理框架，类似于一个分布式操作系统，它通过动态分配集群中的计算资源来支持多任务并发执行。本文将深入介绍 YARN 的基本架构、任务提交过程、调度策略以及常用操作命令，帮助大家更好地理解这一强大的资源调度平台。

1. 什么是 YARN？

YARN 是 Hadoop 中的资源调度平台，负责为计算程序提供集群资源，可以看作是 Hadoop 分布式计算环境的操作系统。它使得多个应用程序能够同时运行，并且能够通过调度策略高效地分配资源，提升集群的利用率和吞吐量。

YARN 的核心功能是将资源管理与任务调度分离，它通过全局的资源管理器ResourceManager，本地的任务执行管理器NodeManager，以及为每个任务分配资源的ApplicationMaster来管理任务的运行和监控。

2. YARN 的基本架构

YARN 的架构主要由以下四个核心组件构成：

ResourceManager (RM)
ResourceManager 是 YARN 的全局资源管理器，负责集群资源的调度和分配。它包含两个主要模块：
1. Scheduler (调度器)： 按照定义的策略为应用程序分配资源。Scheduler 是一个纯粹的资源调度模块，不负责应用程序的监控和管理。
2. ApplicationManager (应用程序管理器)： 管理应用程序的生命周期，处理应用程序的提交，启动ApplicationMaster并监控其运行状态。如果ApplicationMaster失败，ApplicationManager 会重新启动它。
ApplicationMaster (AM)
ApplicationMaster 是每个应用程序的局部管理器，负责向 RM 申请资源，进一步分配任务，并与 NodeManager 通信以启动和监控任务的执行。每个用户提交的应用程序都会有一个独立的 AM。
NodeManager (NM)
NodeManager 运行在集群的每个节点上，负责管理本地资源和任务。它通过定期的心跳向 RM 汇报节点的资源使用情况和 Container 的状态，并处理来自 ApplicationMaster 的请求，执行任务的启动和停止操作。
Container
Container 是 YARN 中的资源抽象，每个 Container 封装了特定的资源，如内存、CPU、磁盘和网络等资源。每个任务都在一个或多个 Container 中执行。

3. YARN 任务提交流程

在 YARN 中，任务提交和执行的过程是高度自动化的，具体可以分为以下几步：

提交应用程序：
用户向 YARN 提交一个应用程序，并指定ApplicationMaster程序、启动命令以及用户程序。
启动 ApplicationMaster：
ResourceManager 为该应用程序分配第一个 Container，并在与对应的 NodeManager 通信后，启动应用程序的ApplicationMaster。
注册 ApplicationMaster：
ApplicationMaster 向 ResourceManager 注册，并开始向 ResourceManager 申请资源，监控和调度子任务。
申请资源：
ApplicationMaster 以轮询的方式向 ResourceManager 申请资源，直到资源分配完成。
任务执行：
ResourceManager 为 ApplicationMaster 分配资源后，ApplicationMaster 与 NodeManager 通信，要求 NodeManager 在指定的 Container 中启动任务。
任务执行环境配置：
NodeManager 配置任务的运行环境，并通过脚本启动任务。
任务状态汇报：
各个任务定期向 ApplicationMaster 汇报任务状态和进度，便于 ApplicationMaster 监控任务运行，必要时可以重新启动失败的任务。
任务完成：
当所有任务执行完成后，ApplicationMaster 向 ResourceManager 注销并关闭自身。

4. YARN 的调度策略

为了高效利用集群资源，YARN 提供了多种调度策略，用户可以根据不同的应用场景选择合适的调度方式。

FIFO Scheduler (先进先出调度器)：
FIFO 是最简单的调度策略，所有应用程序按照提交的顺序依次执行。系统会根据作业的优先级和到达时间为应用分配资源。缺点是如果某个应用程序占用了大量资源，后续的作业可能会长期等待，导致资源利用效率低下。
Capacity Scheduler (容量调度器)：
Capacity Scheduler 允许集群资源被划分为多个队列，不同组织可以使用各自的队列资源。队列内部按照 FIFO 方式调度，外部可以为不同队列分配资源比例，从而实现多租户共享集群的场景。该调度器的目标是最大化集群的资源利用率。
Fair Scheduler (公平调度器)：
Fair Scheduler 旨在为集群中的应用程序公平地分配资源。当集群中只有一个作业时，它可以独占集群资源；当多个作业并发执行时，空闲资源会被均衡分配，确保所有作业都能获得大致相同的资源。Fair Scheduler 允许为短作业提供优先权，避免长作业独占资源。

5. YARN 常用操作命令

在使用 YARN 进行集群管理时，以下命令是常用的操作工具：

yarn app -list：显示当前运行的所有应用程序。
yarn app -kill <appid>：停止某个应用程序。
yarn node -list：显示集群中所有节点的列表。
yarn node -status <node_id>：显示某个节点的详细状态。
yarn logs -applicationId <appid>：显示某个应用程序的日志信息。
yarn queue -status <queueName>：显示某个队列的详细信息。

6. 总结

YARN 是 Hadoop 生态系统中重要的资源管理和调度平台，它通过灵活的架构和多种调度策略，实现了对集群资源的高效管理。通过ResourceManager和NodeManager，YARN 能够管理应用程序的全生命周期，确保集群资源得到充分利用，同时支持多用户和多租户的场景。无论是容量调度、FIFO 调度还是公平调度，YARN 都能应对各种不同需求的集群应用场景，为大数据处理提供强有力的支持。

通过理解 YARN 的架构和调度机制，您可以更好地管理和优化您的大数据任务，提升集群的整体运行效率。