如何获取Hadoop MapReduce下的日志

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/DSLZTX/article/details/46442655
如何获取Hadoop MapReduce中在Yarn下运行的map任务和reduce任务的日志输出:
1、首先,需要明确一个概念,就是map任务和reduce任务是在cluster node上运行的,因而,要找出这些任务的输出,首先得定位具体运行这些任务的机子
2、
1)打开MapReduce运行任务管理网页页面
2)定位到要查看日志输出的MapReduce任务,接着定位具体运行该MapReduce任务的cluster node,然后定位到这些cluster node上的日志输出目录
在这些日志输出目录下面,一般有3个子目录,分别是
stderr,stdout,syslog
stderr:输出System.err输出的信息;
stdout:输出System.out输出的信息
syslog:输出日志工具(比如Slf4j,log4j)输出的信息

没有更多推荐了,返回首页