Yarn application has already ended! It might have been killed or unable to launch application master

最新推荐文章于 2023-07-23 08:41:17 发布
最新推荐文章于 2023-07-23 08:41:17 发布
阅读量1.3k 收藏
点赞数
分类专栏： 异常 Spark 文章标签： unable to launch application master spark异常
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/arlanhon/article/details/103283462
版权

提交spark-shell任务时。
spark-shell --master yarn --deploy-mode client --driver-memory 512m --executor-memory 1g --queue root --num-executors 1
报org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.异常，如下：

SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
ERROR - Error initializing SparkContext.
org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.
	at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.waitForApplication(YarnClientSchedulerBackend.scala:85)
	at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:62)
	at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:156)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:509)
	at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2313)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860)
	at scala.Option.getOrElse(Option.scala:121)

根据网上的建议，修改yarn-site.xml文件, 内容如下：

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

不过重启服务后，仍然没有解决问题。

最后经过排查，发现spark-env.sh中的HADOOP_CONF_DIR配置有问题，这个参数理应配置的是hadoop的conf目录，但写成了hadoop根目录。
修改如下：

#HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0
HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0/etc/hadoop

重启服务后，仍然没有解决问题。

发现没加export, 加上。

export HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0/etc/hadoop

重启服务后。报了另一个错。如下：

19/11/28 18:24:52 ERROR spark.SparkContext: Error initializing SparkContext.
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /user/haizhi/.sparkStaging/application_1574936673804_0001. Name node is in safe mode.
The reported blocks 208 has reached the threshold 0.9990 of total blocks 208. The number of live datanodes 1 has reached the minimum number 0. In safe mode extension. Safe mode will be turned off automatically in 0 seconds.
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1364)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4216)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4191)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:813)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:600)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:962)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2039)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2035)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2033)

	at org.apache.hadoop.ipc.Client.call(Client.java:1469)
	at org.apache.hadoop.ipc.Client.call(Client.java:1400)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
	at com.sun.proxy.$Proxy13.mkdirs(Unknown Source)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:539)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
	at com.sun.proxy.$Proxy14.mkdirs(Unknown Source)
	at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:2742)
	at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:2713)
	at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:870)
	at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:866)
	at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
	at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:866)
	at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:859)
	at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:1817)
	at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:597)
	at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:432)
	at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:868)
	at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:170)
	at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56)
	at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:156)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:509)
	at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2313)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860)
	at org.apache.spark.repl.Main$.createSparkSession(Main.scala:95)
	at $line3.$read$$iw$$iw.<init>(<console>:15)
	at $line3.$read$$iw.<init>(<console>:42)
	at $line3.$read.<init>(<console>:44)
	at $line3.$read$.<init>(<console>:48)
	at $line3.$read$.<clinit>(<console>)
	at $line3.$eval$.$print$lzycompute(<console>:7)
	at $line3.$eval$.$print(<console>:6)
	at $line3.$eval.$print(<console>)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at scala.tools.nsc.interpreter.IMain$ReadEvalPrint.call(IMain.scala:786)
	at scala.tools.nsc.interpreter.IMain$Request.loadAndRun(IMain.scala:1047)
	at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:638)
	at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:637)
	at scala.reflect.internal.util.ScalaClassLoader$class.asContext(ScalaClassLoader.scala:31)
	at scala.reflect.internal.util.AbstractFileClassLoader.asContext(AbstractFileClassLoader.scala:19)
	at scala.tools.nsc.interpreter.IMain$WrappedRequest.loadAndRunReq(IMain.scala:637)
	at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:569)
	at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:565)
	at scala.tools.nsc.interpreter.ILoop.interpretStartingWith(ILoop.scala:807)
	at scala.tools.nsc.interpreter.ILoop.command(ILoop.scala:681)
	at scala.tools.nsc.interpreter.ILoop.processLine(ILoop.scala:395)
	at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply$mcV$sp(SparkILoop.scala:38)
	at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply(SparkILoop.scala:37)
	at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply(SparkILoop.scala:37)
	at scala.tools.nsc.interpreter.IMain.beQuietDuring(IMain.scala:214)
	at org.apache.spark.repl.SparkILoop.initializeSpark(SparkILoop.scala:37)
	at org.apache.spark.repl.SparkILoop.loadFiles(SparkILoop.scala:105)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply$mcZ$sp(ILoop.scala:920)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:909)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:909)
	at scala.reflect.internal.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:97)
	at scala.tools.nsc.interpreter.ILoop.process(ILoop.scala:909)
	at org.apache.spark.repl.Main$.doMain(Main.scala:68)
	at org.apache.spark.repl.Main$.main(Main.scala:51)
	at org.apache.spark.repl.Main.main(Main.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:738)
	at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
	at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
19/11/28 18:24:52 WARN cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: Attempted to request executors before the AM has registered!
19/11/28 18:24:52 WARN metrics.MetricsSystem: Stopping a MetricsSystem that is not running
org.apache.hadoop.ipc.RemoteException: Cannot create directory /user/haizhi/.sparkStaging/application_1574936673804_0001. Name node is in safe mode.
The reported blocks 208 has reached the threshold 0.9990 of total blocks 208. The number of live datanodes 1 has reached the minimum number 0. In safe mode extension. Safe mode will be turned off automatically in 0 seconds.
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1364)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4216)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4191)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:813)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:600)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:962)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2039)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2035)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2033)

解决办法，关闭hadoop安全模式，命令：
hadoop dfsadmin -safemode leave

不过最后还是报最开始的错，问题仍然没有解决。

汐朔
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Yarn编程ApplicationList
06-16
在这个主题中，我们将深入探讨"Yarn编程ApplicationList"，包括如何实现应用列表的查询、应用的kill操作，以及Job的查询和map/reduce任务数量的查询。 首先，`Yarn编程ApplicationList`涉及到的主要概念是YARN的...
Spark to yarn启动的时候报错：org.apache.spark.SparkException: Yarn application has already ended!
weixin_43681796的博客
04-13 1755
场景：Spark to yarn启动的时候报错 原因：虚拟内存不够 解决方案： 可通过以下两种方式解决： 调大虚拟内存比： yarn.nodemanager.vmem-pmem-ratio 默认2.1倍 或者关闭虚拟内存检查： ...
spark在yarn上运行报错:Yarn application has already ended
mlin的博客
11-01 5993
spark在yarn上运行报错: Exception in thread "main" org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.     at org.apache.s...
spark-shell启动报错：Yarn application has already ended! It might have been killed or unable to launch...
u013303361的专栏
04-17 6193
前半部分转自：https://www.cnblogs.com/tibit/p/7337045.html （后半原创）spark-shell不支持yarn cluster，以yarn client方式启动spark-shell --master=yarn --deploy-mode=client启动日志，错误信息如下 其中“Neither spark.yarn.jars nor spark.yarn...
YARN 查看 队列，并切换 application 到 指定队列
想练武，就得下功夫
12-27 944
YARN 查看 队列，并切换 application 到 指定队列
YARN Application Development.
06-29
### YARN 应用开发详解 #### 一、YARN 概述与应用开发背景 YARN（Yet Another Resource Negotiator）是 Hadoop 生态系统中的一个关键组件，它为大规模分布式应用程序提供资源管理和调度的功能。相较于传统的 ...
tf-yarn:仅需几行代码即可在YARN上训练TensorFlow模型！
05-17
tf-yarnᵝ tf-yarn是我们在Criteo建立的Python库，用于在Hadoop / YARN集群上训练TensorFlow模型。 可以在找到介绍性博客文章。 它支持在一个或多个具有不同分配策略的工作器上运行，并且可以仅使用几行代码就可以...
Yarn获取Application列表编码
06-16
Yarn 获取 Application 列表编码 Yarn 是一个资源管理和调度框架，负责管理 Hadoop 集群中的资源和应用程序。获取 Application 列表编码是 Yarn 中的一种常见操作，本文将对其进行详细的分析和介绍。 Yarn 获取 ...
application_process_Spark!_spark_log_applications_源码
10-02
4. **YARN 或 Mesos 日志**：如果 Spark 运行在 YARN 或 Mesos 上，还会产生相应的资源管理器日志，如 YARN ApplicationMaster 日志或 Mesos 任务日志，它们提供了集群层面的资源分配和应用管理信息。 `application...
saprk on yarn启动报错解决
qq_37135484的博客
03-29 467
错误日志： Yarn application has already ended! It might have been killed or unable to launch application master. 出现此问题一般是机器的虚拟内存不够，导致yarn进程被杀 解决方法： 1.加大内存； 2.在yarn-site中添加以下配置 <property> &lt...
YARN应用的生命周期和状态
互联网知识分享
07-23 477
框架将根据应用的资源需求和集群的资源情况，为应用程序分配合适的资源，并启动应用程序的执行。: YARN客户端对象，用于与YARN进行交互，包括创建和提交应用、获取应用状态等操作。在提交阶段，应用程序的资源需求和容器的启动命令等信息将被配置和提供。: 应用提交上下文对象，用于设置应用的相关信息，如应用名称、资源需求等。应用中包含了应用的相关信息，如应用名称、队列名称、资源需求等。: 应用报告对象，包含了应用的状态、执行结果和日志等信息。应用在其生命周期中，会有不同的状态来表示当前的执行状态。
提交spark的代码的时候出现Exception in thread "main" org.apache.SparkException:Yarn application has already end
wangxiyanw的博客
03-06 7174
出现的具体错误是:Exception in thread "main" org.apache.SparkException:Yarn application has already ended! It might have been killed or unable to launch application master.我最开始运行的是client模式出现了Spark的任务无法提交的情况.之后...
【深入浅出 Yarn 架构与实现】3-1 Yarn Application 流程与编写方法
笨鸟先飞的博客
11-14 1199
本篇学习 Yarn Application 编写方法，将带你更清楚的了解一个任务是如何提交到 Yarn ，在运行中的交互和任务停止的过程。通过了解整个任务的运行流程，帮你更好的理解 Yarn 运作方式，出现问题时能更好的定位。
yarn application常用命令及显示示例
热门推荐
初心江湖路的博客
08-02 1万+
yarn application 1、-list 列出所有 application 信息 示例：yarn application -list 2、-appStates 跟 -list 一起使用，用来筛选不同状态的 application，多个用",“分隔； 所有状态：ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINIS...
【hadoop】YARN 应用安全 YARN Application Security
九师兄
06-11 699
翻译：YARN Application Security任何编写 YARN 应用程序的人都需要了解该过程，以便编写短期应用程序或长期服务。他们还需要在早期开发阶段开始在安全集群上进行测试，以便编写真正有效的代码。YARN 资源管理器 (RM) 和节点管理器 (NM) 合作以使用该用户的身份和访问权限来执行用户的应用程序。（活动的）资源管理器：在集群中找到空间来部署应用程序的核心，即应用程序主控 (AM)。请求该节点上的 NM 分配一个容器并在其中启动 AM。与 AM 通信，以便 AM 可以请求新容器并操作/
JanusGraph端查询异常：exception.ResponseException: gremlin-groov y is not an avilable GremlinScriptEngine
汐 朔
01-19 2401
背景 对janusgraph的各个方面进行调研，包括性能测试，当然首先得把环境搭建起来。然后将数据录入进去，但当数据录入完后，在进行查询时报错了。网上的资料很少，对于这个JanusGraph的研究，其实加了一个社群的人并不少，只是对于这个项技术的调研分享个人觉得大家都太过封闭了，所以还是靠自己吧，有了一些研究成果，在接下来的一段时间里会慢慢公布。 不得不吐槽一下，网上大部分的资料都是互相抄的，而且...
安装vuex 时npm ERR! code ERESOLVE npm ERR! ERESOLVE unable to resolve dependency tree
最新发布
04-22
安装Vuex时出现"npm ERR! code ERESOLVE npm ERR! ERESOLVE unable to resolve dependency tree"错误通常是由于依赖项冲突或版本不兼容引起的。解决这个问题的方法有几种： 1. 清除npm缓存：运行以下命令清除npm缓存： ``` npm cache clean --force ``` 2. 更新npm版本：确保你使用的是最新版本的npm。运行以下命令更新npm： ``` npm install -g npm ``` 3. 更新依赖项：如果你已经安装了其他依赖项，可以尝试更新这些依赖项的版本，以解决冲突问题。可以通过修改package.json文件中的依赖项版本号或者运行以下命令来更新依赖项： ``` npm update ``` 4. 使用yarn代替npm：如果以上方法都无效，你可以尝试使用yarn来安装Vuex。首先确保你已经安装了yarn，然后运行以下命令来安装Vuex： ``` yarn add vuex ``` 如果以上方法都无效，可能是由于其他原因导致的问题。你可以提供更多详细的错误信息，以便我能够更好地帮助你解决问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值