1、mapreduce运行日志参数(默认设置,存取在hdfs上,重启后将丢失,可通过mapred-site.xml修改路径设置):
分为历史日志参数和运行日志参数
<name>mapreduce.jobhistory.done-dir</name>
<value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value>
</property>
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>/tmp/hadoop-yarn/staging</value>
</property>
2、container运行日志(存放在本地文件系统上)
包含am日志和普通task日志,默认情况下是存在${HADOOP_HOME}/logs/userlogs上,可通过以下参数修改
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>${yarn.log.dir}/userlogs</value>
</property>
3、启用历史服务,可查看mapreduce的历史运行日志:
mr-jobhistory-daemon.sh start historyserver
即可在19888端口上打开历史服务器的WEB UI界面
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>