Hadoop YARN中 VCores used 与 VCores Avail 数量不相符， YARN WebUI中显示的VCores数不对

最新推荐文章于 2023-07-28 12:22:02 发布

Ahuuua

最新推荐文章于 2023-07-28 12:22:02 发布

阅读量4.6k

点赞数 1

分类专栏：大数据

本文链接：https://blog.csdn.net/Ahuuua/article/details/92831277

版权

大数据专栏收录该内容

31 篇文章 1 订阅

订阅专栏

1.问题复现

如图，在yarn-site.xml中我设置的VCores是2个，每个节点提供2GB内存，在mapred-site.xml中设置的每个container是384M。提交了很多任务后，yarn调度器按照（2GB * 1024）/ 384 = 5 余 128M ，每个节点申请了5个container，但我设置的VCores只有两个，怎么能有这么多container呢？

2.分析

是不是有什么参数没有限制住VCores的变化，去官方文档中yarn-site.xml和mapred-site.xml中找关于VCore的参数，没有找有关这个问题的。最后发现这个问题是在capacity的配置文件中设置的，如下：

yarn.scheduler.capacity.resource-calculator

The ResourceCalculator implementation to be used to compare Resources in the scheduler. The default i.e. org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator only uses Memory while DominantResourceCalculator uses Dominant-resource to compare multi-dimensional resources such as Memory, CPU etc. A Java ResourceCalculator class name is expected.

DefaultResourceCalculator它在申请Container时其实只会考虑内存而不考虑VCores，DominantResourceCalculator考虑多维资源例如内存和CPU，也就是它会考虑所设置的VCore的数量。