spark on yarn，Application application failed 2 times due to AM Container for app解决方法

最新推荐文章于 2023-03-21 18:02:12 发布
最新推荐文章于 2023-03-21 18:02:12 发布
阅读量1.9w 收藏 2
点赞数 1
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoliuyiting/article/details/84860824
版权

client token: N/A
     diagnostics: Application application_1543827900491_0008 failed 2 times due to AM Container for appattempt_1543827900491_0008_000002 exited with  exitCode: 1
For more detailed output, check application tracking page:http://cdh6:8088/proxy/application_1543827900491_0008/Then, click on links to logs of each attempt.
 

 去http://cdh6:8088/proxy/application_1543827900491_0008/Then 查看日志 如下图

点进去后发现具体原因如图

发现是类加载不到，添加jar包即可

xiaoliuyiting
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Spark源码系列（七）Sparkonyarn具体实现
01-30
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark onyarn的实现，1.0.0里面...在第一章《spark-submit提交作业过程》的时候，我们讲过Sparkonyarn的在cluster模式下它的main clas
Spark实验：On Yarn模式安装部署（带答案）1
08-03
1. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上，关闭HDFS的安全模式： 3. 在 master 节点上
TezSession has already shutdown.Application XXX failed 2 times due to AM Container
weixin_43923463的博客
03-26 2012
错误信息 org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1648284477641_0003 failed 2 times due to AM Container for appattempt_1648284477641_0003_000002 exited with exitCode: 1 报错原因 hadoop集群上从机上运行的Container试
Application application_xxx failed 2 times due to AM Container for attempt_xxx exited withexitCode:
m0_53867640的博客
08-01 3888
通过上面的两张图片不难看出，主要是存在两个问题。结果显示块状态是健康的，即并没有块损坏这一说法。
解决 Application xxx failed 2 times due to AM Container for xxx exited with exitCode: 13 问题
qq_37354060的博客
03-21 6864
出现问题要首先检查hostname是不是与hadoop、spark配置的一致，不要想当然的认为是一样的，先检查一下最基础的，如果还是不能解决，就要在网上搜索一下了，通常情况下，问题产生的原因都是因为忽略了某个地方的小细节。
Application application xxx failed 2 times due to AM Container for appattempt_xxx exited with exit
weixin_44366140的博客
02-06 1万+
21/02/06 10:06:37 INFO mapreduce.Job: map 0% reduce 0% 21/02/06 10:06:37 INFO mapreduce.Job: Job job_1612576553072_0003 failed with state FAILED due to: Application application_1612576553072_0003 failed 2 times due to AM Container for appattempt_161257655
异常：Application failed 2 times due to AM Container
热门推荐
Thinking
11-27 2万+
文章来源：http://ju.outofmemory.cn/entry/74294 异常：Application failed 2 times due to AM Container 极豆技术博客 » 极豆技术博客 2014-04-28 3248 阅读 hadoop 安装完Hadoop2版本后，启动测试程序报如下异常： /04/28 15:29:16 INFO
spark on yarn：due to AM Container for appattempt_xx_xx exited with exitCode:-1000
weixin_44455388的博客
04-28 3281
新部署的hadoop和spark集群，使用spark on yarn模式执行一个简单的spark程序包，spark程序的代码逻辑是读取oracle数据库，读取后对数据做简单处理，然后保存。比较匪夷所思的是，spark代码逻辑执行成功，经过处理的数据成功保存到数据库，但是yarn页面显示spark程序报错。 报错信息如下： 按这篇文章（https://www.e-learn.cn/content/wangluowenzhang/874518）的解决方法，无法解决。 网上找了很多都没有找到解决方。 由于是新部
Spark环境搭建——on yarn集群模式
01-07
本篇博客，Alice为大家带来关于如何搭建Spark的on yarn集群模式的教程。 文章目录准备工作cluster模式client模式[了解]两种模式的区别 官方文档: http://spark.apache.org/docs/latest/running-on-yarn.html 准备...
Spark on Yarn集群搭建手册
08-29
Spark on Yan集群搭建的详细过程，减少集群搭建的时间
spark初始化源码阅读sparkonyarn的client和cluster区别
10-20
spark初始化源码阅读sparkonyarn的client和cluster区别
解决ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: C
xiaoliuyiting的博客
01-04 6076
1、下载 hadoop-common-2.2.0-bin-master.zip 链接如下 https://pan.baidu.com/s/1OWftq66ZUeaczJgjZr9jXQ  提取码：pzc7  2、解压后配置环境变量HADOOP_HOME 变量值为解压目录 3、配置环境变量Path 问题解决...
找不到SparkSession
xiaoliuyiting的博客
09-13 3678
在pom.xml加以下依赖  <dependency>        <groupId>org.apache.spark</groupId>        <artifactId>spark-sql_2.11</artifactId>        <version>2.2.0</version>      &
Eclipse搭建Scala+Spark开发环境spark学习博客
xiaoliuyiting的博客
09-12 1457
1、搭建教程： https://www.cnblogs.com/wmm15738807386/p/6723391.html http://www.linuxidc.com/Linux/2015-08/120946.htm  https://blog.csdn.net/ldds_520/article/details/51830721 2、eclipse中运行第一个scala编写的spar...
使用Idea打包spark应用，只添加需要的jar包
xiaoliuyiting的博客
12-07 1436
 选择右侧框中需要的jar包，右击Extract Into Output Root 就会进入左边的窗口内  再打包，就可将刚刚选择的jar一起打包到应用程序  
Spark笔记5之提交任务到Yarn集群
xiaoliuyiting的博客
11-22 866
一、client cluster提交方式的原理 1、 client提交方式原理 如下图流程 1、在client客户端，提交应用程序（client方式），在客户端节点上启动了一个Driver进程 2、Driver向master发送消息（为当前Application申请资源 走的7077端口） 3、Master资源充足，就会为当前Application分配资源，master找资源充足的wor...
Spark笔记1之Spark介绍
xiaoliuyiting的博客
11-20 353
目录 一、什么是Spark 二、Spark的现状 三、spark优势 1、速度speed 2、使用方便 3、强通用性 4、强适应性 四、Spark中的数据模型RDD 官网：https://spark.apache.org/ 一、什么是Spark       spark：分布式计算框架，类似hadoop生态圈中的MapReduce（MR分布式计算框架），计算思想和MR相似  ...
Spark笔记10之SparkSQL
xiaoliuyiting的博客
12-08 201
一、Shark（SparkSQL的前身） •       Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。 •       除了基于Spark的特性外，Shark是完全兼容Hive的语法，表结构...
Application application_1686442711612_0006 failed 2 times due to AM Container for appattempt_1686442711612_0006_000002 exited with exitCode: 1
最新发布
06-12
这个错误提示是指应用程序 application_1686442711612_0006 在两次尝试中失败了，原因是 AM 容器 appattempt_1686442711612_0006_000002 退出并返回了 exitCode: 1。AM（Application Master）容器是一个运行在YARN框架上的进程，用于协调和监控应用程序的执行。exitCode: 1 表示 AM 容器退出时返回了非零状态码，可能是由于程序错误或配置问题导致的。要解决这个错误，需要查看应用程序的日志和错误堆栈，找出具体的错误原因并进行修复。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值