Application application_id failed 2 times due to ApplicationMaster for attempt xx timed out解决办法

已于 2022-02-16 12:11:52 修改
阅读量6.1k 收藏 4
点赞数 2
分类专栏： bug 文章标签： spark hadoop big data
于 2021-05-25 09:56:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40243573/article/details/117249195
版权

spark-submit 提交任务失败，报错详情：

通过查阅官网，得知所有网络的默认超时为120s ---- spark.network.timeout=120s，如果这些参数不配置spark.core.connection.ack.wait.timeout, spark.storage.blockManagerSlaveTimeoutMs, spark.shuffle.io.connectionTimeout, spark.rpc.askTimeout or spark.rpc.lookupTimeout 

此参数也会代替它们，于是尝试添加以下参数： 

--conf spark.network.timeout=1200s

由于本次任务的计算的表数据量较大&

最低0.47元/天 解锁文章
robles的心路
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
spark on yarn，Application application failed 2 times due to AM Container for app解决方法
xiaoliuyiting的博客
12-07 1万+
client token: N/A      diagnostics: Application application_1543827900491_0008 failed 2 times due to AM Container for appattempt_1543827900491_0008_000002 exited with  exitCode: 1 For more detailed ou...
Application application_1512618719369_147804 failed 2 times due to ApplicationMaster for attempt app
weixin_34306593的博客
12-18 2060
2019独角兽企业重金招聘Python工程师标准>>> ...
Application application_xxx failed 2 times due to AM Container for attempt_xxx exited withexitCode:
m0_53867640的博客
08-01 4025
通过上面的两张图片不难看出，主要是存在两个问题。结果显示块状态是健康的，即并没有块损坏这一说法。
Application application xxx failed 2 times due to AM Container for appattempt_xxx exited with exit
weixin_44366140的博客
02-06 1万+
21/02/06 10:06:37 INFO mapreduce.Job: map 0% reduce 0% 21/02/06 10:06:37 INFO mapreduce.Job: Job job_1612576553072_0003 failed with state FAILED due to: Application application_1612576553072_0003 failed 2 times due to AM Container for appattempt_161257655
解决 Application xxx failed 2 times due to AM Container for xxx exited with exitCode: 13 问题
qq_37354060的博客
03-21 7347
出现问题要首先检查hostname是不是与hadoop、spark配置的一致，不要想当然的认为是一样的，先检查一下最基础的，如果还是不能解决，就要在网上搜索一下了，通常情况下，问题产生的原因都是因为忽略了某个地方的小细节。
大数据遇到的问题总结（旧）
lin86182824的博客
03-06 6038
1、用户用本地代码操作phoenix，连接zk默认使用的内网。这样导致网络不通，现在需求就是想把zk地址换成公网 分析：zookeeper本来监听在了0.0.0.0。外网也能访问zk。这个是要HBase的regionserver注册到zk，要使用公网ip，是16020这个端口所在的进程也就是regionserver，他往zk注册的时候要用公网ip注册，或者注册host，然后本地绑公网ip。在hbase-site修改hbase.server.hostname.useip成false，然后重启一下HBase，然
php错误提示failed to open stream: HTTP request failed!的完美解决方法
10-28
当使用php5自带的file_get_contents方法来获取远程文件的时候，有时候会出现file_get_contents(): failed to open stream: HTTP request failed!这个警告信息。
Genetic-algorithm-3D-path-optimization-master_attempt2wy_三维路径规划_
10-02
本文将详述针对“三维空间中的钻井计划优化问题”的遗传算法（Genetic Algorithm）解决方案，即“Genetic-algorithm-3D-path-optimization-master_attempt2wy”项目。 遗传算法是一种基于自然选择和遗传原理的全局...
01_MMF_Attempt_2
03-18
标题“01_MMF_Attempt_2”似乎指的是一个项目或尝试的版本号，而“01”可能代表这是系列中的第一个尝试。由于标签为“Python”，我们可以推断这是一个使用Python编程语言进行的项目，可能涉及到软件开发、数据分析...
chatRoom_javaweb聊天室_glassft3_attempt5op_
09-29
java web基于Servlet的...用户信息存放于session当中，管理员踢人时将其从session中移出，聊天的话存放于全局application中，每一个登录用户设置一个监听器，监听到有用户登录，就从全局application中获取聊天记录。
book_attempt2
04-19
《book_attempt2》是关于TeX排版系统的详细学习资料，主要涵盖了如何使用TeX进行高效、专业级别的文本排版。TeX是一种由著名计算机科学家Donald Knuth开发的排版系统，广泛应用于数学、物理、计算机科学等领域的学术...
java hadoop 超时_hadoop-火花超时可能是由于binaryFiles()在HDFS中包含超过一百万个文件...
weixin_39860755的博客
02-27 297
我正在通过读取数百万个xml文件val xmls = sc.binaryFiles(xmlDir)该操作在本地运行良好,但在纱线上失败,并显示以下信息：client token: N/Adiagnostics: Application application_1433491939773_0012 failed 2 times due to ApplicationMaster for attempt...
flink on yarn 集群模式启动报错及解决方案汇总
大数据技术博客
03-17 1万+
注意：想要使用flink on yarn 模式，需要确保hadoop集群启动成功，并且需要在yarn的某一个节点上面执行flink on yarn的脚本 没有启动hadoop集群，执行flink的bin/yarn-session.sh脚本会报下面错误 脚本会一直卡在这里，一直输出重试日志，连不上resoucemanager，说明hadoop集群每启动 2018-03-17 12:30:...
Spark通过YARN提交任务不成功（包含YARN cluster和YARN client)
weixin_33770878的博客
03-30 508
       　　  　　无论用YARN cluster和YARN client来跑，均会出现如下问题。   [spark@master spark-1.6.1-bin-hadoop2.6]$ jps 2049 NameNode 2706 Jps 2372 ResourceManager 2660 Master 2203 SecondaryNameNode [spa...
异常：Application failed 2 times due to AM Container
热门推荐
Thinking
11-27 2万+
文章来源：http://ju.outofmemory.cn/entry/74294 异常：Application failed 2 times due to AM Container 极豆技术博客 » 极豆技术博客 2014-04-28 3248 阅读 hadoop 安装完Hadoop2版本后，启动测试程序报如下异常： /04/28 15:29:16 INFO
spark源码跟踪(十一)ApplicationMaster中的关键线程
weixin_43172032的博客
02-24 1426
ApplicationMaster中的关键线程一，Driver线程二，Reporter线程三，图示 yarn cluster 模式提交的spark程序会使用Yarn集群中某个节点的container资源启动ApplicationMaster java进程,其启动命令是SparkSubmit进程根据用户提交spark任务命令的参数拼接而来。启动后跟踪代码调用过程。 一，Driver线程 查看半生对象object ApplicationMaster 中的main函数 object ApplicationMast
Spark task过多导致任务运行过慢甚至超时
monkeyboy_tech的博客
03-15 5804
背景以及现象 本文基于 spark 3.1.2 设置spark.driver.memory=2g 在调试spark sql任务的时候，发现有几个任务产生了40多万个Task，而且任务长期运行不出来。 分析 运行此sql，可以得到如下的dag（我们只截取产生Task多的Stage），由此可以看到是scan的文件太大了（scan了日志文件半年的数据）。 但是为什么这种情况下会导致任务运行很缓慢甚至会超时呢？ 找到driver端， 用jstat -gcutil查看一下对应的gc情况(对应的内存都是调优完后的镜像
2023-06-09 20:54:26 ERROR Client:70 - Application diagnostics message: Application application_1686294905941_0017 failed 2 times due to AM Container for appattempt_1686294905941_0017_000002 exited with exitCode: 13 Failing this attempt.Diagnostics: Exception from container-launch. Container id: container_1686294905941_0017_02_000001 Exit code: 13
最新发布
06-10
根据你的问题，我猜测你遇到了一个关于 Hadoop 应用程序运行失败的问题。根据错误信息，AM 容器启动失败，可能是由于一些异常导致的。具体的原因需要根据日志信息进行分析，可能是程序代码出现了异常或配置不正确导致的。建议你仔细查看日志信息，以便找到具体的原因并解决问题。如果你无法解决，可以提供更多详细信息并寻求帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值