集群无法启动多个spark任务，资源无法分配问题

最新推荐文章于 2022-12-08 00:32:26 发布

~shallot~

最新推荐文章于 2022-12-08 00:32:26 发布

阅读量1.2k

点赞数

分类专栏： spark 文章标签： spark 多任务 yarn 资源调度优化

本文链接：https://blog.csdn.net/dylanzr/article/details/84350106

版权

spark 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

问题描述：

在集群上同时提交多个任务，但是发现集群的资源还有很多，但是任务却无法起来,一直处于Accepted状态

解决方法：

这种情况一般是由于yarn可调度的资源不够而并非集群的资源不够，修改Hadoop/etc/hadoop/capacity-scheduler.xml，将value从0.1改为0.5，增加yarn可调度的资源数

<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.5</value>
    <description>
      Maximum percent of resources in the cluster which can be used to run
      application masters i.e. controls number of concurrent running
      applications.
    </description>
  </property>