YARN：组件

YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的一个关键组件，它为集群资源管理和作业调度提供了一个统一的框架。以下是YARN的主要组件：

1. **ResourceManager (RM)**:

  - ResourceManager是YARN集群的中央管理节点，负责整个集群资源的分配和监控。它接受作业提交，调度作业执行，并管理集群中所有节点的资源分配。

2. **NodeManager (NM)**:

  - NodeManager运行在集群的每个节点上，负责管理单个节点的资源使用情况，包括CPU、内存等。它执行任务、监控任务状态、资源使用情况，并将信息汇报给ResourceManager。

3. **ApplicationMaster (AM)**:

  - ApplicationMaster是YARN中每个作业的控制接口，负责与ResourceManager协商资源，并与NodeManager协调任务的执行。AM在作业开始时启动，并在整个作业生命周期内运行。

4. **Container**:

  - Container是YARN中的资源抽象，它包含了执行任务所需的资源（如内存、CPU、磁盘、网络等）。ResourceManager根据Container来分配资源给各个任务。

5. **Scheduler**:

  - Scheduler是YARN中的资源分配器，负责按照特定的策略（如FIFO、Fair、Capacity等）在多个作业和应用程序之间分配资源。

6. **Resource Manager UI**:

  - ResourceManager提供了一个Web UI，用于监控集群状态、作业执行情况和资源使用情况。

7. **NodeManager UI**:

  - 每个NodeManager也提供了一个Web UI，用于监控单个节点的资源使用情况和任务执行情况。

8. **Distributed File System (HDFS)**:

  - YARN通常与Hadoop分布式文件系统（HDFS）配合使用，用于存储作业的输入数据和输出结果。

9. **YARN ProxyServer**:

  - ProxyServer为客户端提供了一个统一的接口，用于与ResourceManager和NodeManager通信。

10. **YARN Command Utilities**:

    - YARN提供了一系列命令行工具，用于作业提交、监控和管理。

11. **YARN Libraries and APIs**:

    - YARN提供了丰富的Java库和API，供开发者编写和集成自定义的分布式应用程序。

12. **Timeline Server**:

    - Timeline Server用于存储和检索作业和任务的运行时信息和历史数据。

13. **Node Labels**:

    - Node Labels提供了一种机制，允许对集群中的节点进行分类和标记，以便Scheduler可以根据作业的需求进行更精细的资源分配。

14. **Capacity Scheduler**:

    - Capacity Scheduler是一种资源分配策略，它允许定义队列的容量和权限，以实现资源的公平共享和优先级调度。

15. **Fair Scheduler**:

    - Fair Scheduler是另一种资源分配策略，它通过动态调整作业的资源分配比例，实现资源的公平使用。

YARN组件的协同工作使得YARN成为一个强大而灵活的资源管理平台，支持多种类型的分布式计算作业，包括但不限于MapReduce。