Yarn 3.x版本容器内存控制功能失效排查

问题背景

Yarn集群中一部分节点的内存被打爆，排查发现作业使用内存超出了NodeManager的最大内存限制

找出故障时间点运行的作业，发现作业内存设置不合理，用户只设置了

mapreduce.map.java.opts=-Xmx40240m;
mapreduce.reduce.java.opts=-Xmx80240m;

而没有设置

mapreduce.map.memory.mb（默认为1536）
mapreduce.reduce.memory.mb（默认为3072）

mapreduce.map.memory.mb 设置的是 Container 的内存上限，这个参数由 NodeManager 读取并进行控制，当 Container 的内存大小超过了这个参数值，NodeManager 会负责 kill 掉 Container。

mapreduce.map.java.opts 是启动 JVM 时，传递给虚拟机的启动参数，而 -Xmx40240m 表示这个 Java 程序可以使用的最大堆内存数，一旦超过这个大小，JVM 就会抛出 Out of Memory 异常，并终止进程。

正常情况下 mapreduce.map.memory.mb 的值必须大于或等于 mapreduce.map.java.opts 设置的 -Xmx，否则 JVM 可能无法启动

而上面这个作业设置的 mapreduce.map.java.opts 远超 mapreduce.map.memory.mb ，导致task实际使用的内存超出了container 的最大限制

但问题关键在于，理论上当内存使用超出 container 的最大限制时 yarn 应该主动 kill 掉该 container，实际上却并没有，所以接下来我开始排查Yarn内存控制的源码部分

Yarn内存控制

YARN 具有多种方式来强制执行容器内存限制。

1、轮询
在Hadoop 2版本，NodeManager后台会启动一个ContainersMonitor线程，每间隔一段时间（yarn.nodemanager.container-monitor.interval-ms，默认3s）轮询节点上的所有container，检查内存使用是否超出限制（mapreduce.map.memory.mb），并kill掉超出内存限制的container。

这种方式存在一个问题，因为需要间隔3s检查一次，如果container的内存分配很快，可能来不及kill就