spark-summit 中出现Initial job has not accepted any resources; check your cluster UI to ensure that wor

在尝试使用 `spark-submit` 启动 Spark 应用时遇到了 'Initial job has not accepted any resources' 错误,原因是提交命令中的 Master 地址与实际 Master UI 上的地址不匹配。通过将提交命令的 Master 地址更改为 'spark://master:7077',成功解决了这个问题,从而允许应用正常运行。
摘要由CSDN通过智能技术生成

Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

15/03/23 22:15:07 ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.

实际上,我这个问题时akka的一个bug,即它不能解析域名。
  • 问题描述:

    这是我的启动命令: ./spark-submit --master spark://10.4.21.220:7077 --class RemoteDebug --executor-memory 256m --driver-memory 500m /home/hadoop/spark/SparkRemoteDebug.jar

  • 下图是我的master的情况

    这里写图片描述
    问题来了,akka不能将10.4.21.220解析为master !,这导致前面问题的报错,即ip错误情况。

  • 解决方法:

    spark-submit的提交代码的master的地址(即–master spark://10.4.21.220:7077)应该跟master UI(见上图)上的地址一致,所以我把提交代码修改为 ./spark-submit --mast

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值