Stack trace: ExitCodeException exitCode=15 OR File does not exist: hdfs:/spark2-history

最新推荐文章于 2020-06-09 00:19:17 发布
最新推荐文章于 2020-06-09 00:19:17 发布
阅读量8.8k 收藏 5
点赞数 1
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZMC921/article/details/80338267
版权
在Spark on YARN集群运行程序时遇到ExitCodeException exitCode=15的错误，日志显示`File does not exist: hdfs:/spark2-history`。问题源于HDFS上缺少`/spark2-history`文件夹，尝试创建时遇到权限问题。解决方案是使用`sudo -u hdfs hadoop fs -mkdir /spark2-history`以HDFS用户身份创建文件夹，并通过`sudo -u hdfs hadoop fs -chown spark:hadoop /spark2-history`修改权限。
摘要由CSDN通过智能技术生成

spark on yarn集群运行程序报错:Stack trace: ExitCodeException exitCode=15:

查看yarn的聚合日志，将日志下载下来查看。

yarn logs -applicationId application_1522668922644_40211 -out ./info

发现日志内的错误如下

java.io.FileNotFoundException: File does not exist: hdfs:/spark2-history

是因为在HDFS上没改文件夹，然后我们去创建

# hdfs dfs -mkdir /spark2-history

有发现我们没有权限


产生问题原因：

最低0.47元/天 解锁文章
守猫de人
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark ： ExitCodeException exitCode=15，exitCode=13
九师兄
07-04 5224
1. ExitCodeException exitCode=13 1.1 背景 做spark程序的时候，在代码中写的是 println(masterUrl) val spark = SparkSession.builder .appName("JavaStructuredKafka") .master(masterUrl) .enableHiveSupport .getOrCreate...
【Flink】Flink 提交任务报错 File does not exit /tmp/application_xxx-flink-conf.yml
九师兄
09-12 1201
Flink 升级报错这个错误可能有什么原因导致的呢？我从Hadoop2升级到Hadoop3，一切都配置完成了，发布的时候有这个问题，我是不是遗漏了什么配置？根据报错找到相应的源码这个地方为什么上面明明创建了本地配置文件，然后下面注册本地资源的时候报找不到该本地配置文件呢？这个方法不应该返回true的最终解决：仔细检查了下配置，fs.scheme用了其他位置的设置。结果判断出了是remotePath。
Container exited with a non-zero exit code 15
初冬听雪的博客
06-09 4382
最近在自己搭建的spark on yarn跑测试程序，提交代码之后就遇到Container exited with a non-zero exit code 15这个错误，仔细检查后发现是代码中创建sparkConf有setMaster("local[*]") 定位到问题代码处： 在平时开发中难免会本地测试一下然后提交集群验证，一定要注意提交到集群注释掉这个local，大多都会在spark-submit中指定master和deploy-mode。 以后在集群跑程序遇到这个code=15时就检查.
YARN调度报错Stack trace: ExitCodeException exitCode=1解决方式
走过路过
12-11 3万+
网上有很多解释，但是都不适合我，单纯看表面的堆栈信息，很容易迷惑，应该深入查看ApplicationMaster和NodeManager的日志。碰到过很多异常会有不合理的展示，导致使用者被表面迷糊，很难快速定位问题。 问题的具体堆栈信息如下Stack trace: ExitCodeException exitCode=1: at org.apache.hadoop.util.Shel
spark报错File does not exist: hdfs://master:9000/sparkhistory
dorothy400的博客
02-12 5204
spark报错 File does not exist: hdfs://master:9000/sparkhistory hdfs dfs -mkdir /sparkhistory 更多解释详见 https://blog.csdn.net/zmc921/article/details/80338267
pyspark.sql.utils.AnalysisException: Table or view not found
yyoc97的专栏
05-30 1万+
基于spark2.2做测试，期间遇到的一些问题。 jar包提交 public static void main(String[] args) { SparkConf conf = new SparkConf(); conf.setAppName("Tsoip") SparkSession orCreate = SparkSession.builder().c...
android-remote-stacktrace:从 code.google.compandroid-remote-stacktrace 自动导出
06-04
这是从 google 代码导出的 android 崩溃报告自动上传项目的副本。 android-remote-stacktrace 从 code.google.com/p/android-remote-stacktrace 自动导出
axios-better-stacktrace:Axios插件，可为axios错误提供更好的堆栈跟踪
05-06
安装NPM npm install axios-better-stacktrace 纱yarn add axios-better-stacktrace笔记已使用axios 0.21.0进行了测试。用法// CommonJS// const axiosBetterStacktrace = require('axios-better-stacktrace')....
improved-android-remote-stacktrace:改进的Android远程Stacktrace库
05-18
Android远程Stacktrace：改进 该项目是，它添加了许多重要功能： 可定制的接口，用于处理堆栈跟踪 通过将堆栈跟踪保存到自己的目录而不是应用程序的根文档目录，从而更好地处理文件系统 允许可选的调试日志记录，这...
Android studio 出现错误Run with --stacktrace option to get the stack trace. Run with --info or --debu
09-01
主要介绍了 Android studio 出现错误Run with --stacktrace option to get the stack trace. Run with --info or --debu的相关资料,需要的朋友可以参考下
stacktrace：用于存储和打印回溯的C ++库
01-28
"stacktrace"库提供了一个方便的方式来捕获、存储和打印程序执行时的堆栈跟踪，这对于理解和解决运行时错误非常有帮助。这个库特别适用于那些需要深入理解程序流程或需要在异常发生时收集上下文信息的场合。 堆栈...
spark-submit 以yarn-cluter 提交job 定位错误之旅
dymkkj的专栏
04-01 1459
           最近用spark结合开发spark程序,发现挺方便,但是遇到不少问题,其中就是spark-submit 提交作业,折腾了我一天,闲言少叙,上问题:1.提交作业spark-submit  --class com.myd.cn.SparkTest  --master yarn  --deploy-mode cluster --executor-memory 2g --jars /...
cdh 运行spark yarn-cluster
KNIFE_PAN的专栏
04-23 4815
1.如果用cdh安装sparn on yarn 直接用集群模式运行spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ --num-executors 3 \ --driver-memory 4g \ --executor-memory 2g \ -
Stack trace: ExitCodeException exitCode=1:
turboMan的博客
05-30 7255
15/12/27 22:40:29 INFO mapreduce.Job:  map 0% reduce 0% 15/12/27 22:40:29 INFO mapreduce.Job: Job job_1451283482913_0002 failed with state FAILED due to: Application application_1451283482913_0002 fa
java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and PySpark
Mrerlou的博客
05-21 703
ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and PySpark memory (0 MB) is above the max thre...
flink提交到yarn报错:Stack trace: ExitCodeException exitCode=3
BrotherDong90的专栏
03-27 3372
2018-03-27 03:42:43,792 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: Application application_1522121766020_0001 failed 2 times due to AM Container for appattempt_1522121766020_0...
yarn Stack trace: ExitCodeException exitCode=127:
u014724199的博客
09-20 3247
报错: Job job_1537433842491_0002 failed with state FAILED due to: Application application_1537433842491_0002 failed 2 times due to AM Container for appattempt_1537433842491_0002_000002 exited with  exi...
Linux进程被信号杀死后退出状态码(exit code)的分析
热门推荐
halfclear的博客
05-27 6万+
linux系统下，进程对信号的默认响应方式有5种： 1）  忽略信号，即当做没收到信号一样； 2）  终止进程； 3）  产生核心转储文件，同时进程终止； 4）  停止进程，即暂停进程的执行； 5）  于之前的暂停之后恢复执行； 处理方式2和3都会导致进程终止执行立即退出，处理方式1、4、5不会造成进程终止执行。因此，可以将信号粗略的分为两类，一类是会导致进程终止并退出的信号；另一类则
unknown flag: --ignore-preflight- To see the stack trace of this error execute with --v=5 or higher
最新发布
06-10
这个错误可能是由于您在运行某个命令时使用了一个未知的标志 "--ignore-preflight-" 导致的。建议您使用 "--help" 标志来查看命令的帮助文档，以确保您使用的所有标志都是正确的。如果问题仍然存在，您可以尝试增加调试等级，使用 "--v=5" 或更高级别来查看完整的堆栈跟踪信息，以便更好地定位问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值