Spark错误:WARN TaskSchedulerImpl: Initial job has not accepted any resources;

在windows环境下使用Intellij idea远程执行spark程序时,遇到了以下问题:

Intellij控制台输出警告:WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

此时程序会一直loading,running,loading,running…的循环,并持续出现上面的警告。
出现这个错误可能有几种原因:

  1. host配置不正确
  2. worker内存不足
  3. 相关端口号被占用

针对第二种原因,通过修改配置文件中worker和master使用内存资源的参数即可解决。
针对第三种原因,可以查看占用端口的程序并将其关闭,或者重启spark集群。

然而通过经过排查发现我遇到的问题并不是以上两个原因引起的,于是在web控制台查看具体任务相关的executor的stderr,发现有Name or service not known错误。原因是本机使用了windows默认的名字(一个WINDOWS-XXXXX类似格式的名字),spark worker节点不能识别提交任务的windows节点,因而不能进行交互。而通常提交完任务后提交任务节点上会起一个进程,展示任务进度,默认端口为4044,工作节点会反馈进度给该该端口,所以如果主机名或者IP在hosts中配置不正确,就会报上面的错误。

解决方法:
1. 修改本机hosts文件,在修改第一行,添加自己的hostName,如:

127.0.0.1   zwx-host    localhsot

2.在spark集群的所有节点的hosts中添加本地提交任务的windows节点的ip和hostname,如:

10.0.1.76   zwx-host
  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值