Reason :Container marked as failed.exit status:143 内存不够 查询container日志方法

本文介绍了一种排查YARN上运行任务失败的方法。通过检查日志发现任务因容器内存不足而失败,调整配置无效后,进一步定位到是由于UDF函数中的Java程序错误导致。最终通过查看具体的容器日志找到了问题的根源。
摘要由CSDN通过智能技术生成

问题:一直在跑的任务突然怎么都跑不成功了。
在这里插入图片描述
查看日志,没有具体报错原因,主要看到Reason :Container marked as failed.exit status:143
在这里插入图片描述

由此怀疑是容器资源不够无法起起来。遂更改yarn相关配置。主要是修改最小容器内存和内容增量加大。
在这里插入图片描述
然并卵。无论怎么调还是不够内存。
因此开始认真找报错原因。
查询container日志方法:
yarn上找到application的日志之前 可以看到在哪个node节点上执行的
在这里插入图片描述
然后去相应的node节点机器上,进入路径:
cd /yarn/container-logs/
ll 看看里面的日志:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
最后可以看到是udf函数 java程序报错,可以看到是哪条数据传进的参数导致的。最后解决问题。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值