MapReduce 程序相关日志
u MapReduce 程序日志分为历史作业日志和Container日志。
u 历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业运行了多少个作业等很有用的信息。
u Container日志包含ApplicationMaster 日志和普通Task日志等信息,默认情况下,日志存放在${HADOOP_HOME}/logs/userlogs目录下。
1、历史作业配置
<!-- MapReduce Applicaiton Master 运行的数据目录 -->
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>/tmp/hadoop-yarn/staging</value>
<description>Thestaging dir used while submitting jobs.
</description>
</property>
<!-- 历史作业日志记录,存储在HDFS上的路径 -->
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
</property>
2、container日志目录配置
<!-- container 日志目录 -->
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>${yarn.log.dir}/userlogs</value>
</property>