Hadoop yarn log简单分析

在CDH5.0环境下,分析Hadoop YARN任务日志问题。对比了任务1(报错)与任务2(成功)的日志,发现任务1的日志无法通过History链接获取,而任务2的日志正常。问题可能源于任务1的JAVA_HOME路径导致的Java命令执行失败,从而未产生日志。
摘要由CSDN通过智能技术生成

测试环境:CDH5.0(Hadoop2.3)

在前一篇博客中,使用windows提交任务到linux Hadoop平台,出现错误,想去看看日志,但是发现没有找到日志,所以就在linux Hadoop平台所在的机器使用命令行运行任务,再次查看日志,对比两个任务可能的日志,以此来分析。

首先是页面:

报错任务的页面(报错的任务就称为任务1,运行成功的任务就称为任务2):

图1


任务2的页面:

图2


图1中点击2(History)连接,发现还是在原始连接;而图3的History链接点击后就会出现2的页面。如果在图3中直接点击log,那么会出现log找不到的错误(在图2中点击则没有问题)。

图3


通过上面的对比,可以发现图1和图3的url链接是对应的,但是图1点击History还是链接会图1页面,图3却可以连接到图2界面。

在图1和图3中直接点击log,会出现log找不到的错误,一般如下:

图4


在图2中点击log

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值