Ambari动态给YARN分配计算节点

1.前言

YARN可用的计算节点数量并不总是等于 Hadoop集群节点数量，可以根据业务需求分配 YARN计算节点数量。

这里首先介绍一些前置知识：

YARN中 ResourceManager 和 NodeManager是两个核心组件，其中 ResourceManager负责集群资源的统一管理和调度分配，并协调 NodeManager 的工作；NodeManager是运行在每个集群节点上的代理，负责单个节点资源的管理和任务的执行。

通过 YARN任务监控页面（默认 8088端口）可以查看目前集群计算节点数量、可用内存大小和可用 VCore数量等，也可以查看任务执行情况。

---

给 YARN分配新的计算节点，只需要在 Hadoop节点上部署 NodeManager组件即可，在 Ambari上可以通过页面动态部署，部署完成后需要手动启动 NodeManager服务。

2.分配新的计算节点

集群现状：测试环境，部署了 3个Hadoop节点，其中 YARN可用计算节点为 1个，如下图：

现在给 YARN新增两个计算节点，步骤如下：

1. 打开 Ambari管理页面，并点击 主机页面

2. 勾选需要添加 NodeManager主机

3. 点击右上角操作进行新增 NodeManager操作
   

最后，等待 NodeManager部署完成，并手动启动 NodeManager。

3.检查可用计算节点

打开 YARN任务监控页面，可以看到 Nodes已经变成了 3个，计算可用的 内存、VCore数量都增加了，如下：

4.总结

本文是在 YARN计算节点少于 Hadoop节点的情况下进行操作，并不涉及新增 Hadoop节点。另外，计算节点在运行任务时对于内存资源的需求通常较高，并不用把所有的 Hadoop节点都作为 YARN计算节点，特别是在机器混装的情况下，容易影响其他程序的执行。