一、任务日志在哪
前面我们已经了解了ResourceManager UI界面参考上一篇文章YARN UI界面日志详解一,我们也看到了下图:
就在Applications下的几个状态中,只要你是提交到yarn来管理的任务那一定在这几个状态中的某一个,所以弄清楚这几个状态的日志信息那我们就能知道某个任务的运行状况了。
在实际工作中NEW、NEW_SAVING、SUBMITTED这三个用到的概率还是非常低的,而ACCEPTED、RUNNING、FINISHED、FAILE、KILLED这五个那是经常使用的,所以我们重点关注:
ACCEPTED:接受状态,已经被队列(queue)接受,但是还没有开始执行。如果生产中有任务一直停留在这个状态,那就可能是队列资源是不充足。
RUNNING:运行状态,获得我集群资源正在计算,我们也看一下点进去查看运行的日志
FINISHED:完成状态,表示任务运行完成
FAILE:失败状态,表示任务运行失败,这个时候我们就应该点进去查看日志寻找失败的原因
KILLED:被杀死状态,这个一般都是人为强制kill的
二、某个任务Finished状态详解
我们点击FINISHED如图: