有时候想看mr的运行日志,比如在mr中放入了一些log,那么这些log要从哪里查看呢?接下来笔者阐述一下自己的理解。
1. 通过配置文件确认属性yarn.nodemanager.remote-app-log-dir 的值,如下:
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/tmp/logs</value>
<source>yarn-default.xml</source>
</property
yarn.nodemanager.remote-app-log-dir的官方原意是:Where to aggregate logs to.
通过配置可以确认是在hdfs上的/tmp/logs 目录下
那么如何确定yarn.nodemanager.remote-app-log-dir这个参数有效?可以通过yarn.log-aggregation-enable属性确认