Hadoop之配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上

日志聚集好处：可以方便的查看到程序运行详情，方便开发调试

开启日志聚集功能，需要重新启动NodeManager、ResourceManager和HistoryServer

1. 配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

    <!--开启日志聚集功能-->
    <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
    </property>

    <!--设置日志聚集服务器的地址-->
    <property>
            <name>yarn.log.server.url</name>
            <value>hadoop102://hadoop102:19888/jobhistory/logs</value>
    </property>

    <!--设置日志保留时间为7天-->
    <property>
            <name>yarn.log.aggregation.retain-seconds</name>                     <value>604800</value>
    </property>

2. 分发配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3.关闭NodeManager、ResourceManager和HistoryServer并重新启动

关闭：

[atguigu@hadoop102 hadoop-3.1.3]$ mapred --daemon stop historyserver

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh

启动：


4. 执行wordcount程序查看日志