Initial job has not accepted any resources; check your cluster UI to ensure that workers are...

在集群上运行spark应用程序时,出现:
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
如下图所示:debug原因是下图最后一段代码:pairRDD.foreach(println)
1应该改为:pairRDD.collect().foreach(println)。我修改之后就如下图所示成功了:
success整个问题的原因是:
当采用Local模式在单机上执行时,pairRDD.foreach(println)会打印出所有的元素。但是,当采用集群模式执行时,在Worker节点上执行打印语句时输出到Worker节点的stdout中,就需要使用stdout中,而不是输出到任务控制节点Driver中,因此,任务控制节点Driver中的stdout是不会显示打印语句的这些内容的。为了把所有worker上的打印输出信息也显示到driver中,就需要使用collect()方法。(这段话来源于课本)

注:在课本《spark编程基础(Scala版)》120页

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值