yarn resourcemanager调优

问题现象

在作业提交比较多的时候，集群资源还有剩余，但是分配跟不上，导致peeding比较多，peeding时间长达10分钟。

调优方法

1.开启批量分配资源功能，在小任务多的时候能提高吞吐量。

2.限制一次批量分配数量。默认没有限制，会导致节点计算资源不均衡，部分节点把所有的vcore都分配了，而部分节点一个也没分配。

3.关掉持续调度功能，这个功能在集群规模比较大（大于75个节点）的时候会影响resouremanager的性能，该功能在hadoop2.7以后已经废弃。

cdh官方建议

调优操作

调优效果
调优前，上午特别堵

调优后，上午部分队列资源有限制才堵，整体集群快速分配资源，单个任务peeding等待不超2分钟

持续调度相关说明

https://blog.csdn.net/zhanyuanlin/article/details/78799131