Spark提交yarn虚拟内存不足任务失败

最新推荐文章于 2023-09-19 19:33:28 发布

anddyhua

最新推荐文章于 2023-09-19 19:33:28 发布

阅读量6.4k

点赞数 3

分类专栏： Note for Bigdata

本文链接：https://blog.csdn.net/anddyhua/article/details/96645131

版权

在尝试提交Spark任务到YARN时，由于虚拟内存不足，任务状态变为FAILED。问题在于，Spark使用cluster yarn模式提交时，会为AM和Driver以及Executor申请内存，当内存不足时，ResourceManager会发送TERM信号导致任务失败。尽管任务状态显示为FINISHED，但Final Status实际上是Failed。为了避免因内存不足而反复重试，可以通过调整参数来跳过内存检查，前提是了解任务的计算需求。

摘要由CSDN通过智能技术生成

提交任务时候，任务状态从UNDEFINED变成FAILED，在Yarn WEBUI端任务对应Final Status，但是Status是FINISHED

ID	Application Type	Queue	Application Priority	StartTime	FinishTime	State	FinalStatus	Running Containers Allocated CPU VCores	Allocated Memory MB % of Queue % of Cluster	Progress	Tracking UI	Blacklisted Nodes
application_1563641492579_0001	SPARK	0	default	:	:	`FINISHED`	FAILED	N/A	N/A	0.0 0.0	History	0

19/07/20 18:06:06 INFO yarn.Client: 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: BG001
         ApplicationMaster RPC port: 34351
         queue: default
         start time: 1563617158446
         final status: UNDEFINED