一、mapreduce的日志分为历史作业日志和Container日志。
1、历史作业日志包含了一个作业用了多少个Map、用了多少个Reduce、作业的提交时间、作业的启动时间、作业的完成时间等信息。
2、Container日志包含ApplicationMaster日志和普通Task日志,日志的目录是在/logs/userlogs,如下图所示
从这里我们可以看到输出的日志,定位相关错误。
3、历史作业记录是在/tmp/hadoop-yarn/staging如下图所示
一、mapreduce的日志分为历史作业日志和Container日志。
1、历史作业日志包含了一个作业用了多少个Map、用了多少个Reduce、作业的提交时间、作业的启动时间、作业的完成时间等信息。
2、Container日志包含ApplicationMaster日志和普通Task日志,日志的目录是在/logs/userlogs,如下图所示
从这里我们可以看到输出的日志,定位相关错误。
3、历史作业记录是在/tmp/hadoop-yarn/staging如下图所示