Spark任务AM复用导致任务混乱

spark-submit 增加参数
–conf spark.yarn.am.extraJavaOptions=“-Dhadoop.yarn.application.AM_REUSE=false”
–conf spark.yarn.submit.waitAppCompletion=true

Yarn修改参数:
yarn.resourcemanager.am.liveness-monitor.interval-ms =1000 --RM检查AM存活状态的时间间隔(单位为毫秒,默认1s)。修改为10分钟–不然会导致flink -am失败!!!
yarn.am.liveness-monitor.expiry-interval-ms = 1000 --AM在无响应后判定为失效的时间阈值(单位为毫秒,m默认10分钟)。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值