spark-submit 报错 Initial job has not accepted any resources

最新推荐文章于 2023-05-25 10:04:56 发布
最新推荐文章于 2023-05-25 10:04:56 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： spark 文章标签： spark 内存

spark-submit  报这样的错误


 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources



错误原因是内存缺少资源
我的虚拟机内存只有1g，所以spark-env.sh配置


export SPARK_WORKER_MEMORY=800m




但是在我执行spark-submit的时候没有加 --executor-memory参数，spark-submit默认提交任务的时候是1024m，如下图

就出现了上面的错误
解决办法是 spark-submit 后面加--executor-memory 512m就运行正常了

同时提交多个spark-submit任务，只有第一个处于running，其他都处于waiting状态（已解决）
lukabruce的博客
12-23 2215
问题描述： 同时提交多个spark-submit任务，只有第一个处于running，其他都处于waiting状态 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have s...
【问题解决】本地提交任务到Spark集群报错：Initial job has not accepted any resources
热门推荐
nazhidao的专栏
04-17 2万+
本地提交任务到Spark集群报错：Initial job has not accepted any resources错误信息如下：18/04/17 18:18:14 INFO TaskSchedulerImpl: Adding task set 0.0 with 2 tasks18/04/17 18:18:29 WARN TaskSchedulerImpl: Initial job has no...
WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your……解决方法，两种可能原因
weixin_48620718的博客
04-14 8882
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources，意思是：初始作业未接受任何资源；请检查群集UI以确保工作进程已注册并且有足够的资源。 出错可能有两种原因。 第一种：是spark节点的内存满了，内存可以在spark的配置文件—>spark-
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registe
zkyxgs518的博客
11-20 8638
spark集群搭建完成后，笔者在测试的过程中出现了：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 这样的错误 查阅了很多资料都没有得到解决。 首先分析该错误的原因 ...
initial job has not accepted any resources； check your cluster ui to ensure（全网都无法解决，看这里）
Pearcat的博客
11-09 3049
以下办法都失效时：给出新方法 - 增加内存 - 重启 hadoop spark - 检查防火墙，端口 - 检查 hosts 配置文件
spark报错：WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your cluster UI...
Iv_zzy的博客
11-05 7993
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
spark 序列化错误 集群提交时_【问题解决】本地提交任务到Spark集群报错：Initial job has not accepted any resources...
weixin_29605607的博客
12-24 665
本地提交任务到Spark集群报错：Initial job has not accepted any resources错误信息如下：18/04/17 18:18:14 INFO TaskSchedulerImpl: Adding task set 0.0 with 2 tasks18/04/17 18:18:29 WARN TaskSchedulerImpl: Initial job has no...
记录-----解决Spark之submit任务时的Initial job has not accepted any resources; check your cluster UI to ensu问题
gk91620的博客
09-12 2414
大多数是集群资源有限导致的问题。注意合理分配资源   原则1：首先，保证至少有一个executor可以成功启动，否则，提交的spark应用是无法跑起来的 如何保证？ 第一点：--executor-cores <= SPARK_WORKER_CORES(spark-env.sh中设置的参数)，否则会出现资源不足报错   第二点：--executor-memorry <= SP...
spark-summit 中出现Initial job has not accepted any resources; check your cluster UI to ensure that wor
简单就好
03-23 3300
spark-summit 中出现Initial job has not accepted any resources; check your cluster UI to ensure that…Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered
Spark on K8S（spark-on-kubernetes-operator）常见问题（一）
weixin_42305433的博客
01-13 2646
Spark on K8S（spark-on-kubernetes-operator）环境搭建以及demo过程（二）Spark Demo过程中的常见问题Spark的executor/driver怎么持久化日志如何让Spark程序可以连接HDFS集群如何对hadoop的参数进行配置如何让executor/driver集中部署在不同的node上如何配置spark的运行参数关于kerberos Spark...
Spark报错：Initial job has not accepted any resources
BigData_Mining的博客
06-26 1686
警告信息：初始化job的时候，没有获取到任何资源，检查你的集群，确保workers已经被注册和有足够的内存资源。问题出现的可能原因：worker节点没有启动；你分配的内存资源超过worker节点的内存容量（就是内存溢出了）...
spark-sql 卡在TaskSchedulerImpl: Initial job has not accepted any resources； check your cluster UI to
Jatham_C的博客
11-18 258
参考文档 引发的原因很多，博主的问题是端口占用 vi ${SPARK_HOME}/conf/spark-env.sh # 提交Application的端口，默认就是这个，万一要改呢，改这里 #export SPARK_MASTER_PORT=7077 netstat -antp|grep 7077 然后重启spark就可以了 ...
Spark报错~WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your clu
最新发布
qq_61324603的博客
05-25 825
内存不知道满不满可以去独立集群Web界面查看应用的运行情况，打开浏览器，访问master:8080,节点的内存满了，内存可以在spark的配置文件—>spark-env.sh中可以看到。意思是：初始作业未接受任何资源；请检查群集UI以确保工作进程已注册并且有足够的资源。查看各个节点内存和使用情况，可以看到我的三个节点的内存有使用所以是1的。
Spark错误：WARN TaskSchedulerImpl: Initial job has not accepted any resources;
Camu7s的专栏
05-13 3717
在windows环境下使用Intellij idea远程执行spark程序时，遇到了以下问题： Intellij控制台输出警告：WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and hav
TaskSchedulerImpl: Initial job has not accepted any resources (Spark报错)
hxh的博客
10-20 1114
18/10/20 10:08:16 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 如图所示： 执行脚本的时候报错 报错原因： ...
运行spark问题：Initial job has not accepted any resources; check your cluster UI to ensure that workers a
coffeebreak的专栏
08-30 2763
运行  spark-submit --master spark://master:7077 --executor-memory 3000g --py-files SparkUtil.py Spark_ModelMatch_eigen.py 出现如下警告，spark无法运行一直处于等待状态 RN TaskSchedulerImpl: Initial job has not accep
Initial job has not accepted any resources;check your cluster All masters are unresponsive! Giving u
changdejie的专栏
11-26 1457
这是由于 spark集群未响应导致的，可以按照如下的顺序检查 1 检查防火墙，是否放开了 7077 和相应端口 2 使用 ./bin/spark-shell --master spark://spark.master:7077 检测看是否能成功 注意 不要使用 spark://123.123.123.123:7077 这样的模式(第一次不知道，坑了好长时间)  host文件配置如下 12
Spark：Initial job has not accepted any resources
乔的博客
06-22 1104
我在本地写了个 Spark 的 Driver，运行 local 模式没问题，当把 master 改成了远程的 spark://ip:7077 就会卡主，报下面这个 WARN： Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and ...
spark提示Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
05-14
这个错误信息通常表示你的Spark应用程序没有获得足够的资源来启动。这可能是由于以下原因之一导致的： 1. 集群中没有足够的可用资源来满足您的应用程序的要求。您可以检查您的集群管理器（例如YARN或Mesos）的UI，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值