大数据最全Yarn面试重点，2024年最新附小技巧

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

* 每个作业都有一个对应的ApplicationMaster，它负责与ResourceManager交互，请求资源、监控任务的执行进度，并处理任务执行过程中的错误。

4. Container（容器）：

   • Container是YARN中的基本单位，用于表示分配给作业的资源，如CPU、内存等。
   • 每个任务都运行在一个容器中，NodeManager负责启动和监控容器的执行。

5. ResourceManager和NodeManager通信：

   • ResourceManager和NodeManager之间通过心跳机制保持通信。
   • NodeManager会定期向ResourceManager发送心跳，报告节点的资源使用情况和容器状态。
   • ResourceManager通过心跳机制监控节点的健康状态，并根据需要进行资源重新分配。

总体而言，YARN集群的架构是一个分布式资源管理系统，通过ResourceManager和NodeManager协同工作，实现对集群资源的有效管理和作业调度，支持多种类型的应用程序运行在Hadoop集群中。

2. Yarn 的任务提交流程是怎样的？

YARN的任务提交流程涉及到客户端、ResourceManager、NodeManager和ApplicationMaster之间的协作。以下是一般情况下YARN任务提交的流程：

1. 客户端提交作业：

   • 用户使用命令行工具（如yarn命令）或编程接口（如YARN API）提交作业到YARN集群。
   • 客户端会向ResourceManager提交作业的描述信息，包括作业的名称、资源需求、运行命令等。

2. ResourceManager接收作业请求：

   • ResourceManager接收到作业请求后，将请求转发给ApplicationsManager。

3. ApplicationsManager接收作业请求：

   • ApplicationsManager负责接收来自客户端的作业请求。
   • 它为每个作业分配一个唯一的作业ID，并启动一个新的ApplicationMaster来管理该作业。

4. 启动ApplicationMaster：

   • ResourceManager将作业的描述信息发送给NodeManager所在的节点，请求启动ApplicationMaster。
   • NodeManager收到请求后，启动一个新的进程，即ApplicationMaster，以便管理该作业的执行过程。

5. ApplicationMaster向ResourceManager注册：

   • ApplicationMaster启动后，首先会向ResourceManager注册自己。
   • 注册过程中，ApplicationMaster会提供作业的描述信息，包括作业ID、资源需求等。

6. 资源分配给作业：

   • ResourceManager收到ApplicationMaster的注册请求后，根据作业的资源需求和集群的资源情况，为该作业分配适当的资源（如CPU、内存等）。

7. 执行作业任务：

   • ApplicationMaster根据ResourceManager分配的资源，向ResourceManager请求运行容器（Container）。
   • ResourceManager根据容器的需求和集群的资源情况，在合适的节点上启动容器，并分配给作业执行。
   • NodeManager接收到容器启动请求后，启动容器并运行作业任务。

8. 监控作业执行：

   • ApplicationMaster负责监控作业任务的执行进度、容器的状态以及节点的健康状况。
   • 如果有任何错误或容器失败，ApplicationMaster会向ResourceManager报告，并请求重新分配资源。

9. 作业完成和资源释放：

   • 当作业执行完成时，ApplicationMaster会向ResourceManager发送作业完成的通知。
   • ResourceManager接收到通知后，释放与该作业相关的资源，并清理作业的状态信息。

总体而言，YARN任务提交流程涉及到客户端提交作业、ResourceManager接收作业请求、ApplicationsManager分配ApplicationMaster、启动ApplicationMaster、资源分配和执行作业任务等多个阶段。这些组件之间的协作确保了作业能够在集群中有效地执行。

3. yarn的资源调度的三种模型

YARN（Yet Another Resource Negotiator）的资源调度模型是设计用于管理和分配Hadoop集群中的资源。它支持多种资源调度模型，其中最常见的三种模型包括：FIFO调度器、容量调度器和公平调度器。

1. FIFO调度器（First-In-First-Out）：

   • FIFO调度器是YARN最简单的调度模型，它按照作业提交的顺序依次分配资源。
   • 当作业提交时，FIFO调度器将分配整个集群中的第一个可用资源给该作业，而不考虑其他作业的需求和资源利用率。
   • 这意味着，如果一个大型作业先于多个小型作业提交，则大型作业将占用所有资源，小型作业需要等待大型作业完成才能运行。

2. 容量调度器（Capacity Scheduler）：

   • 容量调度器是YARN的高级调度模型，它允许管理员将集群资源划分为多个独立的队列，并为每个队列分配一定的资源容量。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！