YARN配置调优

yarn资源管理

在YARN中，资源管理由RescoueceManager和NodeManager共同完成，其中，Resourcemanager中的调度器负责资源分配，而NodeManager则负责资源的供给和隔离。容器是内存和CPU的抽象概念。容器运行在NodeManager节点。实际生产环境中，每台机器节点的硬件配置不可能完全一样，所以经常需要手动配置调优yarn在每台节点上的资源情况，以便高效利用集群资源。
YARN允许用户配置每台节点上可用的物理资源，注意，这里是“可用的”，因为一个节点上的资源会被若干个服务共享。

yarn参数调优

一般有两种配置方法，一种是自己根据服务器的资源，自己预判多少资源给yarn多少资源给其他服务；还有一种是让yarn去扫描服务器的资源。下面介绍几个重要参数：

第一种：手动配置每个节点

（1）yarn.nodemanager.resource.memory-mb 默认值 -1
表示该节点上YARN可使用的物理内存总量，默认是8192MB，注意，如果你的节点内存资源不够8G，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。这个一般配置是给服务器预留20%的内存即可。
（2）yarn.nodemanager.resource.cpu-vcores 默认值 -1
默认表示集群中每个节点可被分配的虚拟CPU个数为8。为什么这里不是物理CPU个数？因为考虑一个集群中所有的机器配置不可能一样，即使同样是16核心的CPU性能也会有所差异，所以YARN在物理CPU和用户之间加了一层虚拟CPU，一个物理CPU可以被划分成多个虚拟的CPU。

第二种：yarn自动检测资源

（1）yarn.nodemanager.resource.detect-hardware-capabilities 默认 false
配置为true，表示可以让yarn自动探测服务器的资源，比如cpu和内存等。前提是yarn.nodemanager.resource.cpu-vcores和yarn.nodemanager.resource.memory-mb都要采用默认值-1。
（2）yarn.nodemanager.resource.pcores-vcores-multiplier 默认值 1.0
表示一个物理core当做一个vcore使用，我们这里可以调整为2或3，这样一个物理core可以当做2个或者3个vcore使用，这样就可以更合理的利用资源，前提是集群的瓶颈在于cpu不够使用。

container参数调优

如上我们配置yarn集群的资源，cpu和内存，但是在作业的执行的过中是以container为单位的，container的配置调优需要根据实际环境调整。
（1）yarn.scheduler.minimum-allocation-mb：默认值1024MB，是每个容器请求被分配的最小内存。
（2）yarn.scheduler.maximum-allocation-mb：默认值8096MB，是每个容器请求被分配的最大内存。
（3）yarn.scheduler.minimum-allocation-vcores：默认值1，是每个容器请求被分配的最少虚拟CPU个数。
（4）yarn.scheduler.maximum-allocation-vcores：默认值4，是每个容器请求被分配的最少虚拟CPU个数。

总结

每个节点的NodeManager中可以启用的container数量有两个维度：CPU和内存。

yarn的在调优时候要综合考虑CPU和内存的分配，尽量保证不要空出多余的资源，假如节点可用总内存30G，总vcore数是16，每个container最少需要1G和1core。那么我们内存可以启动最多30个container，cpu最多启动16个container，但是最终也只能启动16个container，会有相当多的内存没有用到。所以生产上的调优配置需要综合考量内存和CPU的配比。