JobHistory用来记录MapReduce任务的完整信息到HDFS目录中,方便给定位信息改错。
配置文件:mapred-site.ml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>node40:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node40:19888</value>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/history/done</value>
</property>
<property>
<name>mapreudce.jobhistory.intermediate.done-dir</name>
<value>/history/done/done_intermediate</value>
</property>
</configuration>
启动hadoop,再启动jobhistory:mr-jobhistory-daemon.sh start historyserver
相应目录下也会出现:
也可以通过网页看到信息:
点击logs会出现错误:聚合没有打开。
配置yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
就可以解决了。