hadoop3.0yarn任务积压，资源仍然很多的问题解决

版本 hadoop3.x yarn3.x 

这几周一直发生yarn任务积压的情况

积压情形如下

yarn只用了一点点资源

hadoop stream 任务全部积压 卡住不动

查看web ui 很多未申请到的资源

但是container 资源却只有8192mb 1c

hadoop stream 提交的job都如此

查看详细情形 发现map结束之后 reduce 几乎没有进行 全部卡住  集群里其他的任务没有什么问题 只有stream 任务会出现这种情况

空闲资源很多 但是就是申请不到

和开发同事沟通 开发同事说没有配置相关参数 直接提交的任务 排查了contain yarn  resource manger 日志 都没有什么进展

资源分配也正常

因为任务咬死了8g1c的配置 去配置里查找到底哪里配置了 这个参数 

查来查去 只查到 AM配置了这个 

于是修改

重启 任务执行成功 再无积压 但是会影响到别的任务执行 故跑完之后重新调整了一个合适的参数

yarn.app.mapreduce.am.resource.mb

yarn.app.mapreduce.am.resource.cpu-vcores

虽然问题解决了 但是不知道为什么会获取这里的参数作为任务的资源  有待大神解答