flink on yarn 模式缺少资源,出现任务堵塞现象

flink on yarn 模式,缺少资源,出现任务堵塞现象:

1.报错信息如下
Application is added to the scheduler and is not yet activated. (Resource request: <memory:94208, vCores:48> exceeds maximum AM resource allowed).

Application is added to the scheduler and is not yet activated. (Resource request: <memory:94208, vCores:48> exceeds maximum AM resource allowed).

2.CDH显示任务排队如下
任务堆积如下:
CDH任务堆积

yarn资源使用情况如下:
yarn资源使用情况

由上图看出资源还有很多,但是任务却被死死卡住,与运维同志交流最终无果。于是查了很多资料:

最终得出结论:
1.applicationMaster分配资源太多,比如我们的就太大了

比如我们的就太大了			
ApplicationMaster 虚拟 CPU 内核:yarn.app.mapreduce.am.resource.cpu-vcores =48
ApplicationMaster 内存 : yarn.app.mapreduce.am.resource.mb=92G

以上参数可以根据公司数据量适当调小:如
ApplicationMaster 虚拟 CPU 内核:yarn.app.mapreduce.am.resource.cpu-vcores =12
ApplicationMaster 内存 : yarn.app.mapreduce.am.resource.mb=23G

2.job提交到的队列资源分配

	cdh上需要新建一个stream队列分配资源

如图:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

之后提交任务到此队列:
下面展示一些 内联代码片

nohup flink run \
-m yarn-cluster \
-yjm 1024 \
-ytm 1024 \
-s hdfs:///flink/flink-checkpoints/1121c68351640eb8988cbabbe7f64345/chk-4362 \
-c com.zd.task.BaoTask \
-yqu root.streaming \
-ynm Flink-BaoTask \
/var/lib/hadoop-hdfs/bin/flink-pro/zhen-bao-realtime-1.0-SNAPSHOT.jar >flinkJob.log 2>&1 &

然后任务顺利跑通,资源合理分配。

到此问题解决,很奥里给

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值