Spark ： ExitCodeException exitCode=15，exitCode=13

最新推荐文章于 2024-08-04 03:51:09 发布
最新推荐文章于 2024-08-04 03:51:09 发布
阅读量5.2k 收藏 4
点赞数 1
分类专栏： 大数据-spark
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/89577945
版权
大数据-spark 专栏收录该内容
204 篇文章 480 订阅 ¥49.90 ¥99.00
订阅专栏
本文详细介绍了在使用Spark进行程序开发时遇到的ExitCodeException错误，包括exitCode=13和exitCode=15两种情况。在背景部分，描述了错误发生的情境。对于exitCode=13，错误源于代码中指定的部署模式与提交时的模式冲突。解决方法是删除源码中的模式指定，推荐通过命令行参数进行设置。然而，即使采取此方法，仍有可能出现exitCode=15的新错误。作者提供了进一步的错误分析链接以供参考。
摘要由CSDN通过智能技术生成

1. ExitCodeException exitCode=13

1.1 背景

在这里插入图片描述
做spark程序的时候，在代码中写的是

 println(masterUrl)
 val spark = SparkSession.builder
 .appName("JavaStructuredKafka")
 .master(masterUrl)
 .enableHiveSupport
 .getOrCreate

提交的时候为

spark-submit --master yarn --deploy-mode cluster

然后报错 ExitCodeException exitCode=13,具体报错如下

19/08/03 16:46:40 INFO yarn.Client: Application report for application_1564821447524_0002 (state: ACCEPTED)
19/08/03 16:46:41 INFO yarn.Client: Applic
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
spark structured straming: ExitCodeException exitCode=1
九师兄
07-04 999
[deploy@fideploy ~]$ spark2-submit --keytab /etc/security/keytabs/hdfs.keytab --principal hdfs@HADOOP.COM --conf spark.driver.host=192.168.xxx.xx --class com.dtwave.cheetah.node.spark.structured.stre...
spark出现Stack trace: ExitCodeException exitCode=13
微电子学与固体电子学-俞驰
04-29 9892
$ spark-submit --class WordCountLocal --master yarn --deploy-mode cluster scalalearn-1.0-SNAPSHOT-jar-with-dependencies.jar 2020-04-29 19:10:20 INFO RMProxy:98 - Connecting to ResourceManager at D...
Stack trace: ExitCodeException exitCode=15 OR File does not exist: hdfs:/spark2-history
ZMC921的博客
05-16 8850
spark on yarn集群运行程序报错:Stack trace: ExitCodeException exitCode=15:查看yarn的聚合日志，将日志下载下来查看。yarn logs -applicationId application_1522668922644_40211 -out ./info发现日志内的错误如下java.io.FileNotFoundException: File...
java was start but returned exit code 13
最新发布
weixin_41488069的博客
08-04 188
解析“Java was started but returned exit code 13”问题 在使用Java开发应用程序时，我们可能会遇到一个常见的错误提示：“Java was started but returned exit code 13”。这个错误的含义是什么？它通常是怎么引起的？如何解决这些问题？本文试图带您...
Container exited with a non-zero exit code 15
初冬听雪的博客
06-09 4411
最近在自己搭建的spark on yarn跑测试程序，提交代码之后就遇到Container exited with a non-zero exit code 15这个错误，仔细检查后发现是代码中创建sparkConf有setMaster("local[*]") 定位到问题代码处： 在平时开发中难免会本地测试一下然后提交集群验证，一定要注意提交到集群注释掉这个local，大多都会在spark-submit中指定master和deploy-mode。 以后在集群跑程序遇到这个code=15时就检查.
Error: ADB exited with exit code -15
han1140521792的博客
07-01 1264
正在解决中....
User class threw exception: org.apache.spark.SparkException: Task not serializable问题解决
LZX的博客
02-22 3122
问题描述： 计划将sparksql查询结果数据通过alibaba.druid.pool.存入mysql，结果报错序列化问题 User class threw exception: org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:345) at org.apache.spark.util
linux安装eclipse出现exit code =13时的解决办法
MARKPAIN的专栏
03-03 1148
检查版本是否匹配
Stack trace: ExitCodeException exitCode=10:
weixin_33946605的博客
03-15 2006
2019独角兽企业重金招聘Python工程师标准>>> ...
YARN调度报错Stack trace: ExitCodeException exitCode=1解决方式
热门推荐
走过路过
12-11 3万+
网上有很多解释，但是都不适合我，单纯看表面的堆栈信息，很容易迷惑，应该深入查看ApplicationMaster和NodeManager的日志。碰到过很多异常会有不合理的展示，导致使用者被表面迷糊，很难快速定位问题。 问题的具体堆栈信息如下Stack trace: ExitCodeException exitCode=1: at org.apache.hadoop.util.Shel
java was started but returned exit code=13的解决方法
Keep Going！
01-18 7154
eclipse有一阵儿没开了，结果最近打开都给我返回"java was started but returned exit code=13",好在这个问题我以前也遇到过，是版本不匹配导致的。 我下载的eclipse是32位的，而设置的环境变量是64位jdk和jre的路径。除此之外，还需要改动一下eclipse安装目录下的eclipse.ini文件 首先改环境变量： JAVA_HOME：C:\
Spark异常报错整理
V_Gbird的博客
01-29 4226
答主是一名刚接触Hadoop，Spark的小白工程师，该文章整理答主在开发过程中遇到的一些Spark的错误，将会持续更新。 1） Exit Code：13 Stack trace：ExitCodeException exitCode=13：   org.apache.hadoop.util.Shell.runCommand(Shell.java:545) ... 错误原因：任务在提
pyspark.sql.utils.AnalysisException: Table or view not found
yyoc97的专栏
05-30 1万+
基于spark2.2做测试，期间遇到的一些问题。 jar包提交 public static void main(String[] args) { SparkConf conf = new SparkConf(); conf.setAppName("Tsoip") SparkSession orCreate = SparkSession.builder().c...
spark报错集锦
farbeyonds的博客
05-29 1477
1.spark报错信息： org.apache.spark.SparkException: Job aborted due to stage failure: Task 5 in stage 2.0 failed 4 times, most recent failure: Lost task 5.3 in stage 2.0 (TID 227, dhpnm236-192-064, executor 25): ExecutorLostFailure (executor 25 exited caused b
spark grpc 在master运行报错 exitcode13 User did not initialize spark context
lonsonlee的专栏
08-25 2131
protobuf-maven-plugin 0.6.1 降到 0.5.0 同时 io.grpc:protoc-gen-grpc-java:1.54.0 com.google.protobuf:protoc:21.0-rc-1。升版本 0.5.0升到 0.6.1 同时 io.grpc:protoc-gen-grpc-java:3.21.9 com.google.protobuf:protoc:3.21.9。
问题 Spark Yarn集群模式 exitCode = 13
zhangxiping
03-25 7346
背景 今天一同事在提交任务时遇到一个很奇葩的问题，使用的是集群模式提交的spark任务 下面是运行的日志： Log Length: 19060 20/03/25 14:43:03 INFO util.SignalUtils: Registered signal handler for TERM 20/03/25 14:43:03 INFO util.SignalUtils: Registered...
cdh 运行spark yarn-cluster
KNIFE_PAN的专栏
04-23 4841
1.如果用cdh安装sparn on yarn 直接用集群模式运行spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ --num-executors 3 \ --driver-memory 4g \ --executor-memory 2g \ -
spark on yarn exitCode: -104
06-09
Spark on YARN 的 exitCode -104 通常表示运行 Spark 应用程序的 YARN 容器已经耗尽了内存。这可能是由于 YARN 内存设置不正确、YARN 分配的资源不足或者 Spark 应用程序使用过多内存等各种原因导致的。 为了解决这...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值