spark运行程序问题--报WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources

最新推荐文章于 2023-05-25 10:04:56 发布
最新推荐文章于 2023-05-25 10:04:56 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： spark 文章标签： Initial job has not accepted a spark 无法运行 运行报错
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013761049/article/details/82424120
版权

通过/spart-submit提交任务时，报WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources问题。

且一直重试该操作。

该问题spark集群没有资源可用。

在本机测试情况下，虚拟机给2G的内存，那么spark中可设定为1G，这样就可以成功将任务运行完成。

具体操作：

找到spark下的conf，然后修改spark-env.sh文件

在文件末添加：export SPARK_WORKER_MEMORY=1024m 

这样就可以正常执行程序了

443441968
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HiBench运行spark用例报Initial job has not accepted any resources错误
wifeisboss的博客
07-01 2453
最近使用HiBench基准测试工具测试Spark性能。 但每当启动测试过程后不救，HiBench就提示错误： WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and h
Spark运行时遇到的错误 scheduler.TaskSchedulerImpl: Initial job has not accepted any resources
01-07
scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your clus ter UI to ensure that workers are registered and have sufficient resources 调度器：初始化Job时没有足够的资源，...
Spark执行样例报警告：WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources
DataFlow范式
10-01 1万+
搭建Spark环境后，调测Spark样例时，出现下面的错误： WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
18/03/18 04:53:44 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your clu...
weixin_34185364的博客
03-18 216
1：遇到这个问题是在启动bin/spark-shell以后，然后呢，执行spark实现wordcount的例子的时候出现错误了，如： scala> sc.textFile("hdfs://slaver1:9000/hello.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _).collect 执行上面操作之前我是这样...
Spark 关于提交任务报错 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources；
qq_43634028的博客
04-12 2858
运行任务发现一直在报：WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 查看7077端口发现我们要执行的任务处于等待状态，当前正在运行的是shell，所有我们直接在webui kill 掉 shell kill 掉
TaskSchedulerImpl: Initial job has not accepted any resources (Spark报错)
hxh的博客
10-20 1087
18/10/20 10:08:16 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 如图所示： 执行脚本的时候报错 报错原因： ...
Hadoop 启动WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using
01-09
搭建hadoop 环境时遇到启动异常告警问题 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable” 上来不多说，百度收集些相关...
vim-and-vi-mode.ansible.role：Ansible角色：安装Vim并始终使用vi-mode
02-07
vim-and-vi-mode.ansible.role：Ansible角色：安装Vim并始终使用vi-mode
kafka调试中遇到Connection to node -1 could not be established. Broker may not be available.
10-16
主要介绍了kafka调试中遇到Connection to node -1 could not be established. Broker may not be available的解决方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
cwa-viewer.on.dedyn.io:在网络浏览器中查看针对@ corona-warn-app提交的诊断密钥
04-30
标题 "cwa-viewer.on.dedyn.io:在网络浏览器中查看针对@ corona-warn-app提交的诊断密钥" 指的是一个在线工具或服务，它允许用户通过网络浏览器来观察与德国官方COVID-19接触者追踪应用 "Corona-Warn-App" 相关的...
Spark报错：TaskSchedulerImpl:66 - Initial job has not accepted any resources; check your cluster UI to
qq_40871363的博客
07-01 1333
一、问题描述 最近在使用Docker搭建好Spark后进行练习时，报如下错误： TaskSchedulerImpl:66 - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resou...
spark WARN TaskSchedulerImpl: Initial job has not accepted any resources
(a != b) ? b : a
08-06 412
在本地提交一个spark job，出现如下错误   WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory   在网上搜了一下，出现这种...
WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources
nuc2015的博客
08-28 2281
提交Spark任务时，报错： WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
[spark]Error WARN TaskSchedulerImpl:66 - Initial job has not accepted any resources; check your clu
weixin_42074234的博客
05-14 1092
WARN  TaskSchedulerImpl:66 - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources通常是由于内存不足造成的。当执行spark-submit时，配置了内存信息s...
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure
羽化成蝶
06-06 1361
1：遇到这个问题是在启动bin/spark-shell以后，然后呢，执行spark实现wordcount的例子的时候出现错误了，如： scala> sc.textFile("hdfs://slaver1:9000/hello.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _).collect 执行上面操作之前我是这样启动我...
initial job has not accepted any resources； check your cluster ui to ensure（全网都无法解决，看这里）
Pearcat的博客
11-09 2947
以下办法都失效时：给出新方法 - 增加内存 - 重启 hadoop spark - 检查防火墙，端口 - 检查 hosts 配置文件
Spark报错~WARN TaskSchedulerImpl: Initial job has not accepted any resources； check your clu
qq_61324603的博客
05-25 444
内存不知道满不满可以去独立集群Web界面查看应用的运行情况，打开浏览器，访问master:8080,节点的内存满了，内存可以在spark的配置文件—>spark-env.sh中可以看到。意思是：初始作业未接受任何资源；请检查群集UI以确保工作进程已注册并且有足够的资源。查看各个节点内存和使用情况，可以看到我的三个节点的内存有使用所以是1的。
解决WARN TaskSchedulerImpl: Initial job has not accepted any resources;
程序员小陶的大数据分享
12-13 6817
解决WARN TaskSchedulerImpl: Initial job has not accepted any resources; spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行 ./spark-submit \ –master spark://node01:7077 \ –driver-memory 512m \ ...
spark WARNTaskSchedulerImpl:Initial job has not accepted any resources; check your cluster UI to
热门推荐
52Pig的专栏
03-26 2万+
spark在提交任务时，出现如下错误： 从警告信息上看，初始化job时没有获取到任何资源；提示检查集群，确保workers可以被注册并有足够的内存资源。 如上问题产生的原因是多方面的，可能原因如下： 1.因为提交任务的节点不能和spark工作节点交互，因为提交完任务后提交任务节点上会起一个进程，展示任务进度，大多端口为4044，工作节点需要反馈进度给该该端口，所以如果
Spark执行样例报警告：WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any
最新发布
06-11
这个警告信息表明，Spark调度程序还没有将任何任务分配给可用的工作节点。这可能是由于以下原因之一造成的： 1. 没有足够的可用资源来执行任务，例如CPU、内存、磁盘空间等。 2. Spark调度程序正在等待工作节点的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值