flink 提交多个任务一直处于accept状态

flink on yarn 搭建完成之后提交官方jar包测试,在提交第一个任务的时候是OK的,但是在提交第二个任务的时候,任务一直处于accept状态。然后就开始查原因
在这里插入图片描述
log日志是正常的,flink后端的日志也是正常的
在这里插入图片描述
一开始百度查看各种文章

  1. zookeeper未正常启动
  2. flink-conf.yaml中的cluster_id配置未注释

发现都不是这些问题,然后查看任务在yarn的状态

yarn application -status $app_id

在这里插入图片描述
这里问题就出现了,发现是队列的资源不足导致了,于是查看了相关官方文档,发现是etc/hadoop/capacity-scheduler.xml里面的一个配置出现了问题

<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.1</value>
    <description>
      Maximum percent of resources in the cluster which can be used to run
      application masters i.e. controls number of concurrent running
      applications.
    </description>
  </property>

具体的配置可以在官网中查看,这里附上相关链接

https://hadoop.apache.org/docs/r3.2.2/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

这里意思是集群中可用于运行应用程序主机的最大资源百分比 - 控制并发活动应用程序的数量。每个队列的限制与其队列容量和用户限制成正比。官方文档默认是每个队列最大使用10%的资源,把这里的0.1按需更改最大使用的资源数就行了
在这里插入图片描述
完成!!!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值