Yarn跟踪容器内存的开关

前言

之前使用的YARN环境，在查看NodeManger日志的时候能够看到容器内存使用情况的信息，类似这样的日志：

2022-01-13 09:51:49,585 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Memory usage of ProcessTree 19631 for container-id container_e51_1637148502450_21539911_01_000010: 10.9 GB of 13.5 GB physical memory used; 14.6 GB of 28.3 GB virtual memory used

后来接手一个新集群后，遇到问题去查看NodeManger日志时发现没有相关信息，就不好判断任务失败是不是和资源原因强相关。

正文

版本问题

本来以为只是配置开关的问题，但是找了很多配置都没发现怎么去启用这个日志，于是只好去Cloudera的社区提问了一下：

通过跟社区的大牛交流，得知在HDP3的版本中这个被删了:(
不过这不代表不能通过别的方式打开这块的日志，解决方案如下：
在log4j日志配置中加入这么一行，单独打开ContainersMonitorImpl的DEBUG级别日志，重启NodeManger：

log4j.logger.org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl.audit=DEBUG

拓展知识

在yarn的配置项中有这么一项，用来打开每个NodeManger是否对内存使用情况进行检查，打开这个配置项时，NM会定期检查容器的虚拟内存资源使用情况，如果超过了限额，就会kill掉容器：

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

同时还能看到另一个配置：

<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

这个配置代表的是虚拟内存vmem和物理内存pmem的比值，还是看上面的日志，资源相关的信息如下：

10.9 GB of 13.5 GB physical memory used; 14.6 GB of 28.3 GB virtual memory used

表示容器内存13.5GB，使用了10.9GB，后面的28.3GB就是2.1*13.5得出的，因此，物理内存使用超过13.5GB或者vmem使用超过28.3GB，都会导致任务被干掉；

结语

接下来准备结合Loki实现日志的采集，对任务使用资源进行采集，方便对资源使用进行评估，冲冲冲！(๑•̀ㅂ•́)و✧