07_历史服务器+日志聚集

1、历史服务器

cd $HADOOP_HOME/etc/hadoop
vim mapred-site.xml

<configuration>

    <!-- 历史服务器地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop102:10020</value>
    </property>

    <!-- 历史服务器Web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop102:19888</value>
    </property>

</configuration>

分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

2、在102 启动历史服务器

mapred --daemon start historyserver

jps

mapred --daemon stop historyserver

地址:
http://hadoop102:19888

3、日志聚焦

vim yarn-site.xml

<configuration>

    <!-- 开启日志聚集 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>

    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

</configuration>

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

关闭 hadop

mapred --daemon stop historyserver

再打开 jps

http://hadoop102:19888