hadoop MapReduce自带的历史服务器

MapReduce自带的历史服务器




1.修改mapred.site.xml文件，指定两个参数
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdata-senior.ibeifeng.com:10020</value>
    </property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdata-senior.ibeifeng.com:19888</value>
    </property>
2.启动：
sbin/mr-jobhistory-daemon.sh start historyserver
3.历史服务器是一个轻量级的
mapreduce.jobhistory.intermediate-done-dir
    mapreduce.jobhistory.done-dir
    //存放已经完成的Hadoop的作业目录
    //由于历史服务作业记录太多，存储目录是年/月/日的形势存放在对应的目录中，便于查找




4.修改yarn-site.xml添加下面的属性（指定开启聚合功能，以及日志在HDFS上面保存的期限）
<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>100000</value>
    </property>