【记录】spark任务提交yarn-cluster一直accepted问题

最新推荐文章于 2024-03-04 11:21:39 发布
最新推荐文章于 2024-03-04 11:21:39 发布
阅读量1.3k 收藏 1
点赞数
文章标签： spark 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/spark9527/article/details/107706420
版权

问题一：spark 提交任务时，在resourcemanager上提交任务能执行，在其他机器上提交不了
问题二：spark任务提交yarn时，用cilent模式不报错，换成cluster一直accepted

在这里插入图片描述
问题一排查：检查配置文件 spark-env.sh spark-defaults.conf
发现在spark-env.sh 中指定的 HADOOP_CONF_DIR 有误，并不是现在正在用的版本的hadoop的配置文件，在进行更改后，第一个问题解决

问题二排查：代码有误
在这里插入图片描述

槐序i
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark-2.2.0-yarn-shuffle.jar
02-09
spark-2.2.0-yarn-shuffle.jar
Spark on yarn的出现系统资源紧缺问题！
weixin_38599038的博客
10-29 312
提交Spark程序到Yarn后总是出现Accept状态的解决思路./yarn application -kill application_1540508112044_0055新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是...
Spark提交程序到Yarn任务状态一直为Accepted
最新发布
qq_45294435的博客
03-04 395
有一个Flink任务一直处于running状态，导致yarn资源不足，后续的Spark任务一直处于Accepted状态。查看当前yarn是否有资源可供调度，如果资源不足，则无法正常运行任务。解决:把flink任务kill。
定时任务提交spark到yarn出现一直accepted以及yarn出现unhealthy情况
weixin_48445640的博客
08-29 714
最近定时系统发送的spark任务一直在跑但是无法成功，最终发现是yarn的问题，查看日志发现说tmp目录磁盘占额超过百分之90%，所以nodemanger一直出现unhealthy的情况，此时改变hadoop的core-site配置文件的/tmp目录，挂载到一个还有足够空间的地方重启yarn即可正常运行。 ...
节点内DataNode磁盘使用率不均衡处理指导
hongtaq156136的专栏
01-29 1319
问题背景与现象 单个节点内DataNode的各磁盘使用率不均匀。 例如： 复制 <span style="color:#333333">189-39-235-71:~ # df -h Filesystem Size Used Avail Use% Mounted on /dev/xvda 360G 92G 250G 28% / /dev/xvdb 700G ...
spark异常（一）
数据科学 爱好分享 快乐就完了
02-26 217
spark异常，application state: ACCEPTED xshell任务执行完成，sql一直running，没有任务回显
Spark作业一直处于ACCEPTED状态
qq_32068809的博客
02-25 2965
原因1：集群处于不健康状态 打开yarn监控页面，查看nodes 状态 如果Unhealthy Nodes列不为0，说明有的节点不健康，可以点进去查看详情，处理完并且集群处于健康状态后可尝试再次提交作业。
Spark应用提交后一直不运行：hadoop-yarn ACCEPTED: waiting for AM container to be allocated, launched and registe
甘蓝的专栏
07-25 1056
记录一次Spark应用提交后一直无法运行的问题
一 spark on yarn cluster模式提交作业，一直处于ACCEPTED状态，改了Client模式后就正常了
雨果等夏天的博客
03-13 1万+
1. 提交spark作业到yarn，采用client模式的时候作业可以运行，但是采用cluster模式的时候作业会一直初一accept状态。 背景：这个测试环境的资源比较小，提交作业后一直处于accept状态，所以把作业的配置也设置的小。 submit 语句： spark-submit \ spark-submit \ --class a.kafka_streaming.KafkaConsu...
spark在yarn-cluster模式下运行任务报错
chbxw
09-11 3671
spark在yarn-cluster模式下运行任务报错 不指定任何参数， 运行正常 spark-submit --master yarn-cluster --class com.chb.test.tongji.Test test.jar /apps/spark/source/ 00 当指定executor的配置，运行失败 spark-submit --master yarn --...
spark任务提交到yarn上，状态一直Accepted且不停止不报错
liu137612432的博客
09-08 5578
运行Spark集群时状态一直为Accepted且不停止不报错，如下面这样的情况： 一般是由于有多个用户同时向集群提交任务或一个用户向集群同时提交了多个任务导致Yarn资源的分配错误。解决这个问题，只需要更改Hadoop的配置文件：/etc/hadoop/conf/capacity-scheduler.xml，把选项：yarn.scheduler.capacity.maximum-am-resource-percent从0.1改成0.5。顾名思义，这个选项是增加Yarn可调度的资源量，当然也可以视具体情况增
windows中使用yarn-cluster模式提交spark任务
12-11
windows中使用yarn-cluster模式提交spark任务，百度找不着的啦，看我这里。另外spark的版本要使用正确哦 更简单的方式参考： https://blog.csdn.net/u013314600/article/details/96313579
spark-sql sql on yarn -deploy-mode cluster 改造
09-18
spark-sql sql on yarn --deploy-mode cluster 改造为 可以cluster提交
spark-1.6.1-yarn-shuffle.jar
10-29
spark-1.6.1-yarn-shuffle.jar 下载。spark-1.6.1-yarn-shuffle.jar 下载。spark-1.6.1-yarn-shuffle.jar 下载。
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
Spark 之 故障排除（二）
热门推荐
inet_ygssoftware的博客
06-14 2万+
Spark 之 故障排除（二） 这是我参与更文挑战的第12天，活动详情查看：更文挑战 故障排除四：解决算子函数返回NULL导致的问题 在一些算子函数里，需要我们有一个返回值，但是在一些情况下我们不希望有返回值，此时我们如果直接返回NULL，会报错，例如Scala.Math(NULL)异常。 如果你遇到某些情况，不希望有返回值，那么可以通过下述方式解决： 返回特殊值，不返回NULL，例如“-1”； 在通过算子获取到了一个RDD之后，可以对这个RDD执行filter操作，进行数据过滤，将数值为-1的数据给过
spark提交yarn-cluster模式错误
LZX的博客
02-07 1025
错误场景描述 spark_submit.sh 如下： spark-submit --master yarn --deploy-mode cluster --driver-memory 2g --num-executors 3 --executor-cores 1 --executor-memory 4g --queue spark --class com.aisino.controller.Test11 com_aisino_warehouse-1.0-SNAPSHOT-jar-with-depende
AWS EMR YARN集群提交任务一直处于ACCEPT状态
hongqiutiandi163的博客
07-28 3233
AWS EMR YARN集群提交任务一直处于ACCEPT状态 本集群是通过AWS EMR启动的，AWS EMR可以通过脚本配置需要提交的任务和运行的集群机器数量。但基本运行后，AWS就会启动一个集群，并将任务提交到集群上运行。 但是诡异的问题出现了（如下图）： 可以看到，我提交了四个任务，有一个任务处于RUNNING状态，另外三个处于ACCEPTED状态。但集群的总内存资源为1.05T，VCore为180个，已使用的内存为606.63 GB，已使用的VCore为51个。也就是说，当前集群还有大量的空闲资源
spark代码 spark-submit提交yarn-cluster模式
06-28
- 在提交应用程序时，需要指定`--master yarn`和`--deploy-mode cluster`参数，以告诉Spark将应用程序提交到YARN集群中运行。 - 如果应用程序需要访问HDFS或其他外部资源，需要在应用程序中指定相应的路径或URL，并...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值