Spark作业一直处于ACCEPTED状态

已于 2022-04-06 15:25:57 修改
阅读量3k 收藏 1
点赞数
分类专栏： spark 文章标签： spark 大数据 big data
于 2022-02-25 13:36:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32068809/article/details/123131066
版权

原因1：集群处于不健康状态

打开yarn监控页面，查看nodes 状态

如果Unhealthy Nodes列不为0，说明有的节点不健康，可以点进去查看详情，处理完并且集群处于健康状态后可尝试再次提交作业。

原因2：作业资源分配太小

可增大conf yarn.nodemanager.resource.memory-mb、executor-memory参数值以提高内存分配

头顶榴莲树
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
节点内DataNode磁盘使用率不均衡处理指导
hongtaq156136的专栏
01-29 1339
问题背景与现象 单个节点内DataNode的各磁盘使用率不均匀。 例如： 复制 <span style="color:#333333">189-39-235-71:~ # df -h Filesystem Size Used Avail Use% Mounted on /dev/xvda 360G 92G 250G 28% / /dev/xvdb 700G ...
Spark提交程序到Yarn任务状态一直为Accepted
qq_45294435的博客
03-04 563
有一个Flink任务一直处于running状态，导致yarn资源不足，后续的Spark任务一直处于Accepted状态。查看当前yarn是否有资源可供调度，如果资源不足，则无法正常运行任务。解决:把flink任务kill。
执行spark-submit时，一直在Application report for application_1599648117906_0005 (state: ACCEPTED)刷新，解决方案
data_curd的博客
09-09 7102
执行任务时，卡在（state:ACCEPTED）这一直不动， 20/09/09 11:15:16 INFO yarn.Client: Application report for application_1599648117906_0004 (state: ACCEPTED) 20/09/09 11:15:17 INFO yarn.Client: Application report for application_1599648117906_0004 (state: ACCEPTED) 20/09/09
spark任务提交到yarn上，状态一直Accepted且不停止不报错
liu137612432的博客
09-08 5685
运行Spark集群时状态一直为Accepted且不停止不报错，如下面这样的情况： 一般是由于有多个用户同时向集群提交任务或一个用户向集群同时提交了多个任务导致Yarn资源的分配错误。解决这个问题，只需要更改Hadoop的配置文件：/etc/hadoop/conf/capacity-scheduler.xml，把选项：yarn.scheduler.capacity.maximum-am-resource-percent从0.1改成0.5。顾名思义，这个选项是增加Yarn可调度的资源量，当然也可以视具体情况增
spark on yarn提交任务时一直显示ACCEPTED
chuanjiaoye5017的博客
09-04 2045
spark on yarn提交任务时一直显示ACCEPTED，过一个小时后就会出现任务失败，但在提交时shell终端显示的日志并没有报错，logs文件夹中也没有日志产生。注：sparkonyarn是不需要启动spark集群的，只需要在提交任务的机器配置spark就可以了，因为任务是由had...
一 spark on yarn cluster模式提交作业，一直处于ACCEPTED状态，改了Client模式后就正常了
热门推荐
雨果等夏天的博客
03-13 1万+
1. 提交spark作业到yarn，采用client模式的时候作业可以运行，但是采用cluster模式的时候作业会一直初一accept状态。 背景：这个测试环境的资源比较小，提交作业后一直处于accept状态，所以把作业的配置也设置的小。 submit 语句： spark-submit \ spark-submit \ --class a.kafka_streaming.KafkaConsu...
spark 序列化错误 集群提交时_Spark优化之二：集群上运行jar程序，状态一直Accepted且不停止不报错...
weixin_29284657的博客
12-24 230
如果运行Spark集群时状态一直为Accepted且不停止不报错，比如像下面这样的情况：15/06/14 11:33:33 INFO yarn.Client: Application report for application_1434263747091_0023 (state: ACCEPTED)15/06/14 11:33:34 INFO yarn.Client: Application r...
spark大作业.zip
11-13
使用Spark框架进行网站用户购物分析 目的 1、熟悉Linux系统、MySQL、Spark、HBase、Hive、Sqoop、R、Eclipse、IntelliJ Idea等系统和软件的安装和使用； 2、了解大数据处理的基本流程； 3、熟悉数据预处理方法； 4、...
huaweicloudDocs#mrs#Spark作业api提交状态为error1
07-25
问题现象修改/opt/client/Spark/spark/conf/log4j.properties中的日志级别，使用API V1.1接口作业提交后，状态显示
基于Scala的Apache Spark REST作业服务器设计源码
04-16
本源码项目是基于Scala的Apache Spark REST...系统支持用户通过REST API提交和监控Spark作业，以及查看作业的执行状态和结果。通过该系统，用户可以轻松地管理和监控Spark作业，提高了Spark集群的易用性和可管理性。
Hadoop+Spark大数据技术 第三次作业
03-27
Hadoop+Spark大数据技术 第三次作业
大数据技术课程的Spark大作业以及Spark实验.zip
12-12
大数据技术课程的Spark大作业以及Spark实验.zip大数据技术课程的Spark大作业以及Spark实验.zip大数据技术课程的Spark大作业以及Spark实验.zip大数据技术课程的Spark大作业以及Spark实验.zip大数据技术课程的Spark大...
【记录】spark任务提交yarn-cluster一直accepted问题
遇事不决问春风
07-31 1383
问题一：spark 提交任务时，在resourcemanager上提交任务能执行，在其他机器上提交不了 问题二：spark任务提交yarn时，用cilent模式不报错，换成cluster一直accepted 问题一排查：检查配置文件 spark-env.sh spark-defaults.conf 发现在spark-env.sh 中指定的 HADOOP_CONF_DIR 有误，并不是现在正在用的版本的hadoop的配置文件，在进行更改后，第一个问题解决 问题二排查：代码有误 ...
spark报错INFO yarn.Client: Application report for application (state: ACCEPTED)解决
youmianzhou的博客
08-27 8616
在生产环境中，spark的计算任务提交一般是用yarn模式来做提交的。 今天在自己搭建的集群测试yarn提交时候遇到以下报错， 20/08/27 23:04:15 INFO yarn.Client: Application report for application_1598539765305_0002 (state: ACCEPTED) 20/08/27 23:04:16 INFO yarn.Client: Application report for application_15985397653
AWS EMR YARN集群提交任务一直处于ACCEPT状态
hongqiutiandi163的博客
07-28 3289
AWS EMR YARN集群提交任务一直处于ACCEPT状态 本集群是通过AWS EMR启动的，AWS EMR可以通过脚本配置需要提交的任务和运行的集群机器数量。但基本运行后，AWS就会启动一个集群，并将任务提交到集群上运行。 但是诡异的问题出现了（如下图）： 可以看到，我提交了四个任务，有一个任务处于RUNNING状态，另外三个处于ACCEPTED状态。但集群的总内存资源为1.05T，VCore为180个，已使用的内存为606.63 GB，已使用的VCore为51个。也就是说，当前集群还有大量的空闲资源
Spark拖了很久，希望尽快完成！努力！！！
weixin_34198797的博客
07-09 46
这是我的Spark课程讲义中的一张图片，官方的图片太简单了，所以自己画了一张，供大家参考。 转载于:https://blog.51cto.com/collen7788/1945590
Spark应用提交后一直不运行：hadoop-yarn ACCEPTED: waiting for AM container to be allocated, launched and registe
甘蓝的专栏
07-25 1095
记录一次Spark应用提交后一直无法运行的问题
spark submit提交任务一直卡在ACCEPTED状态
qq_38250124的博客
07-20 3516
千辛万苦写好代码,打成jar包,spark submit提交运行到yarn 然后默默打开yarn界面查看运行的任务,但是半天不见任务名称,这可就奇了怪了 查看 yarn application --list | grep appName 发现状态一直是accepted 接收正常应该是running,之前的代码也没毛病,也能提交,也能运行 遂检查代码 发现 .setMaster("local[*]") //local本地 本地模式竟然没有注释掉,本地模式只能在本地运行,测试的时候使用,提交到.
Synapse Spark
最新发布
weixin_44504151的博客
07-02 601
【代码】Synapse Spark。
Spark 作业调度
02-29
Spark作业调度是指在Spark集群中，对提交的作业进行合理的调度和管理，以提高作业的执行效率和资源利用率。Spark作业调度主要包括以下几个方面： 1. 任务划分：将一个大的Spark作业划分为多个小的任务，以便并行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

头顶榴莲树

你的鼓励是我最大的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值