YARN——任务运行异常处理

【概述】

---

上篇文章讲述了yarn任务提交运行的流程，本文来聊聊整个运行过程中的一些异常情况，以及yarn是如何处理的。

【container进程异常】

---

在NM内部，对于container进程的启动，都是在一个独立线程中，创建对应的子进程。当container进程结束时（不管是成功结束，还是异常退出），对应的线程均能感知其状态并获取其退出码。

但NM并没有做任何重试处理（不管container进程是AM还是一般任务），而是通过心跳汇报给RM，包括container的状态和结束码（注意：在NM中只有container的状态转换到DONE，上报RM的状态才是complete，其他状态上报时都算是running状态）。

RM内部处理NM的心跳请求，最终会通知到调度器，对于complete状态的container，事件通知对应的container，container进一步通知attempt。

在attempt中会进行逻辑判断，如果该container不是AM，则将container加入到结束列表中，当对应的AM心跳上报时，将结束的container列表作为心跳响应的一部分告知AM。由AM决定是否需要重新运行对应的任务container。

如果该container是AM，首先反向通知调度器attempt失败，调度器根据参数配置决定是否需要将该AM申请分配的所有container清理结束。然后告知APP，APP判断是否达到任务失败重试