配置jobhistory

JobHistoryServer

历史服务器，管理者可以通过历史服务器查看已经运行完成的Mapreduce作业记录，比如用了多少个Map、多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，历史服务器是没有启动的，需要进行参数配置才能启动。

配置文件

[root@localhost hadoop]# vim mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>http://192.168.126.129:10020</value>
                <description>MapReduce JobHistory Server Web UI host:port</description>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>http://192.168.126.129:19888</value>
                <description>MapReduce JobHistory Server Web UI host:port</description>
        </property>
        <property>
                <name>mapreduce.jobhistory.done-dir</name>
                <value>/history/done</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.intermediate-done-dir</name>
                <value>/history/done_intermediate</value>
        </property>
</configuration>

[root@localhost hadoop]# vim yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
</configuration>

启动、停止

启动JobHistoryServer
[root@localhost sbin]# ./mr-jobhistory-daemon.sh start historyserver

停止JobHistoryServer
[root@localhost sbin]# ./mr-jobhistory-daemon.sh stop historyserver