Initial job has not accepted any resources； check your cluster UI to ensure...

最新推荐文章于 2022-11-09 00:35:49 发布

succeedloveaaaa

最新推荐文章于 2022-11-09 00:35:49 发布

阅读量3.5k

点赞数 1

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/succeedloveaaaa/article/details/123642582

版权

spark 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

博客讲述了在Spark on YARN环境中遇到的问题，即driver版本为3.2.0，而spark.yarn.archive配置的版本为3.1.1，导致任务无法正常执行。错误信息提示`Initial job has not accepted any resources`。解决方案是将archive版本更新为与driver相同的3.2.0，以确保所有组件之间的兼容性。

摘要由CSDN通过智能技术生成

Spark on YARN执行任务driver端报错：

org.apache.spark.scheduler.cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

查了下网上出现这个问题的原因挺多的，下面记录下我遇到的情况：

1、先讲下基本配置

spark deployMode是client

本地服务器启动spark driver的版本是3.2.0

spark.yarn.archive配置的版本是3.1.1

问题就出现在这了，driver版本与archive版本不一致导致的报错。猜测可能是版本不一致，driver和executor的有些接口发生了变化？这个后面有时间再具体研究。

2、解决方法：

修改archive的版本与driver端一致即可

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

succeedloveaaaa

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

spark报错Initial job has not accepted any resources； check your cluster UI to ensure that workers are

qq_39954916的博客

10-02

1639

报错: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 我在jupyter notebook中以： spark = SparkSession.builder.master('spark://hadoop101:7077').appName('apply123').getOrCre..

WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your……解决方法，两种可能原因

weixin_48620718的博客

04-14

8710

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources，意思是：初始作业未接受任何资源；请检查群集UI以确保工作进程已注册并且有足够的资源。出错可能有两种原因。第一种：是spark节点的内存满了，内存可以在spark的配置文件—>spark-

参与评论您还未登录，请先登录后发表或查看评论

spark报错：WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your cluster UI...

Iv_zzy的博客

11-05

7606

Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

initial job has not accepted any resources； check your cluster ui to ensure（全网都无法解决，看这里）

Pearcat的博客

11-09

3006

以下办法都失效时：给出新方法 - 增加内存 - 重启 hadoop spark - 检查防火墙，端口 - 检查 hosts 配置文件

Initial job has not accepted any resources; check your cluster UI to ensure that workers are registe

zkyxgs518的博客

11-20

8567

spark集群搭建完成后，笔者在测试的过程中出现了：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 这样的错误查阅了很多资料都没有得到解决。首先分析该错误的原因 ...

Initial job has not accepted any resources； check your cluster UI to ensure that workers are registe

qq_14945847的博客

05-07

801

Initial job has not accepted any resources; check your cluster UI to ensure that workers are registe

YarnClusterScheduler: Initial job has not accepted any resources；

默主归沙的博客

03-23

1450

YarnClusterScheduler: Initial job has not accepted any resources; spark-submit突然报这个错误，好像是spark的内存不够了我的spark-env.sh是这样的 JAVA_HOME=/usr/local/jdk SCALA_HOME=/usr/local/scala HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop YARN_CONF_DIR=/usr/local/hadoop/et

Initial job has not accepted any resources; check your cluster UI to ensure that workers are...

Mr Zhu's little cute

08-06

1610

在集群上运行spark应用程序时，出现： Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 如下图所示：原因是下图最后一段代码：pairRDD.foreach(println) 应该...

Spark运行时遇到的错误 scheduler.TaskSchedulerImpl: Initial job has not accepted any resources

01-07

scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your clus ter UI to ensure that workers are registered and have sufficient resources 调度器：初始化Job时没有足够的资源，...

Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

05-12

1. 检查集群管理器（如YARN、Mesos等）的UI，确保集群中有足够的可用资源，并且没有节点因为故障或维护而离线。 2. 检查您的应用程序配置是否正确，并且您请求的资源与集群中可用的资源匹配。 3. 确保您的应用程序...

spark-sql 卡在TaskSchedulerImpl: Initial job has not accepted any resources； check your cluster UI to

Jatham_C的博客

11-18

252

参考文档引发的原因很多，博主的问题是端口占用 vi ${SPARK_HOME}/conf/spark-env.sh # 提交Application的端口，默认就是这个，万一要改呢，改这里 #export SPARK_MASTER_PORT=7077 netstat -antp|grep 7077 然后重启spark就可以了 ...

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure

羽化成蝶

06-06

1395

1：遇到这个问题是在启动bin/spark-shell以后，然后呢，执行spark实现wordcount的例子的时候出现错误了，如： scala> sc.textFile("hdfs://slaver1:9000/hello.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _).collect 执行上面操作之前我是这样启动我...

spark on yarn，Initial job has not accepted any resources

cs_joel的博客

02-15

2482

WARN cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 执行spark作业在yarn上时，一直提示以上信息，通过yarn RM

spark - Initial job has not accepted any resources...没有接受到数据

临地的博客

08-05

895

1.表现与原因表现为将spark streaming提交到集群时（setMaster()），没有接受到任何数据，并打印 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 原因为集群没有资源执行job，基本是因为只启动了msater，没有启动work 2.解决方法启动work即

Spark WARN cluster.ClusterScheduler: Initial job has not accepted any resources;check your cluster

最新发布

06-28

### 回答1：这个错误提示意味着你的初始作业没有接受到任何资源。请检查你的集群界面，确保所有工作节点都已经注册并且具备足够的资源。可能有几个原因导致这个问题： 1. 集群资源不足：你的集群可能没有足够的资源来分配给作业。你可以尝试增加集群的资源或者减小作业的资源需求。 2. 节点注册问题：你的工作节点可能没有正确地注册到集群中。请检查所有节点的状态，并确保它们都已经注册。 3. 资源分配问题：可能存在资源分配的问题，导致你的作业无法获得足够的资源。请检查你的集群管理系统，并确保资源分配正确。如果以上方法无法解决问题，建议咨询你所使用的集群管理系统的技术支持或者社区论坛，以获得更详细的帮助。 ### 回答2：这个报错信息意味着该任务无法启动，因为没有足够的资源可以使用。由于分布式计算框架通常是在集群环境中运行的，因此在提交任务之前需要确保集群中有足够的资源来支撑该任务的运行。首先，需要检查集群管理UI，以确保所有工作节点都已成功注册并处于运行状态。如果某些工作节点无法向主节点注册或处于离线状态，那么需要进行相应的调查和修复。其次，还需要确保各个工作节点上的资源配额足够，包括CPU、内存、磁盘空间等。如果某些节点资源配额不足，那么可能需要重新调整集群的资源分配策略，或者需要升级硬件以满足任务的要求。除此之外，还可能涉及到调度器的配置和设置。如果调度器没有足够的信息来正确地分配任务和资源，那么也可能会出现上述错误信息。因此，需要仔细检查调度器的参数和配置，确保其能够正确地工作。总之，以上是针对该报错信息的一些常见原因和解决方法。在实际应用中，还可能会涉及到其他因素，需要根据具体情况进行调查和处理。 ### 回答3：这个错误提示意味着你的初始工作没有接收到任何资源，需要检查你的群集 UI，以确保工作节点已注册并具有足够的资源。首先，需要确保你的工作节点已经成功注册到你的群集中。可以通过进入群集 UI 的 Nodes 页面来进行检查。如果节点没有在该页面上出现，则可能是由于节点的注册失败或者由于群集配置问题所导致的。需要重试注册节点并确认群集配置。其次，需要确保你的工作节点具有足够的资源来处理你的任务。这包括 CPU、内存、磁盘空间以及其他必要的资源。可以通过进入群集 UI 的 Dashboard 页面来查看每个节点的资源使用情况。如果节点没有足够的资源，你需要添加更多的节点或者重新分配任务以减轻资源消耗。在检查完成后，如果仍然无法解决问题，可能需要更进一步的调试和分析。需要检查相应的日志文件以了解更多信息，或者寻求其他工具或资源来帮助解决问题。