解决Spark standalone部署模式cores为0的问题

在docker中运行spark程序,发现docker日志打印如下内容:

[Timer-0] o.a.spark.scheduler.TaskSchedulerImpl    : 
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

意思是说初始化任务没有获取到任何资源,去spark UI页面查看一下:
可以看到已经没有活着的slave了
可以看到,集群已经没有活着的worker了,spark application的状态是WATING。

启动spark集群master的sbin目录下的start-slaves.sh
重启slave之后恢复正常
可以看到,当slaves都启动之后,就恢复正常了,UI页面有几台worker的信息,Spark应用的状态恢复为RUNNING。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值