YARN | 让你彻底搞明白YARN资源分配

让你彻底搞明白YARN资源分配

本篇要解决的问题是：

1. Container是以什么形式运行的？是单独的JVM进程吗？
2. YARN的vcore和本机的CPU核数关系？
3. 每个Container能够使用的物理内存和虚拟内存是多少？
4. 一个NodeManager可以分配多少个Container？
5. 一个Container可以分配的最小内存是多少？最大内存内存是多少？以及最小、最大的VCore是多少？
6. 当将Spark程序部署在YARN上， AM与Driver的关系是什么？
7. Spark on YARN，一个Container可以运行几个executor？executor设置的内存和container的关系是什么？

 

目录

让你彻底搞明白YARN资源分配

YARN资源管理简述

分布式应用在YARN中的执行流程

YARN集群资源管理

Spark on YARN资源管理

Flink on YARN资源管理

总结

---

YARN资源管理简述

分布式应用在YARN中的执行流程

 

这张图是YARN的经典任务执行流程图。可以发现上图中有5类角色：

1. Client
2. Resource Manager
3. Node Manager
4. Application Master
5. Container

 

先简单来梳理提交任务的流程。

1. 要将应用程序（MapReduce/Spark/Flink）程序运行在YARN集群上，先得有一个用于将任务提交到作业的客户端，也就是client。它向Resource Manager（RM）发起请求，RM会为提交的作业生成一个JOB ID。此时，JOB的状态是：NEW
2. 客户端继续将JOB的详细信息提交给RM，RM将作业的详细信息保存。此时，JOB的状态是：SUBMIT
3. RM继续将作业信息提交给scheduler（调度器），调度器会检查client的权限，并检查要运行Application Master（AM）对应的queue（默认：default queue）是否有足够的资源。此时，JOB的状态是ACCEPT。
4. 接下来RM开始为要运行AM的Container资源，并在Container上启动AM。此时，JOB的状态是RUNNING
5. AM启动成功后，开始与RM协调，并向RM申请要运行程序的资源，并定期检查状态。
6. 如果JOB按照预期完成。此时，JOB的状态为FINISHED。如果运行过程中出现故障，此时，JOB的状态为FAILED。如果客户端主动kill掉作业，此时，JOB的状态为KILLED。

YARN集群资源管理

集群总计资源

要想知道YARN集群上一共有多少资源很容易，我们通过YARN的web ui就可以直接查看到。

 

通过查看Cluster Metrics，可以看到总共的内存为24GB、虚拟CPU核为24个。我们也可以看到每个NodeManager的资源。很明显，YARN集群中总共能使用的内存就是每个NodeManager的可用内存加载一起，VCORE也是一样。

NodeManager总计资源

NodeManager的可用内存、可用CPU分别是8G、和8Core。这个资源和Linux系统是不一致的。我们通过free -g来查看下Linux操作系统的总计内存、和CPU核。

 

第一个节点（总计内存是10G，空闲的是8G）

[root@node1 hadoop]# free -h               total        used        free      shared  buff/cache   available Mem:           9.6G        1.6G        7.6G         12M        444M        7.8G Swap:          2.0G          0B        2.0G

 

第二个节点（总计内存是7G，空闲是不到6G）

[root@node2 hadoop]# free -h               total        used        free      shared  buff/cache   available Mem:           6.6G        700M        5.6G         12M        383M        5.7G Swap:          2.0G          0B        2.0G

 

第三个节点（和第二个节点一样）

[root@node3 logs]# free -h               total        used        free      shared  buff/cache   available Mem:           6.6G        698M        5.6G         12M        386M        5.7G