hadoop3.x——配置及测试日志聚合

日志聚合

日志聚集是yarn提供的日志中央化管理功能，其将运行完成的Container/任务日志上传到HDFS上，以减轻NodeManager的负载，并且提供一个中央化存储和分析机制。
在默认情况下，Container/任务日志存在各个NodeManager上，如果启用日志聚合功能需要额外配置。
方便查看程序的运行详情，及之后的调试开发。

配置日志聚合

1. 配置文件yarn-site.xml中添加如下内容：

<!-- 开启日志聚集功能 --> 
<property> 
    <name>yarn.log-aggregation-enable</name> 
    <value>true</value> 
</property> 
<!-- 设置日志聚集服务器地址 --> 
<property>   
    <name>yarn.log.server.url</name>   
    <value>http://hadoop102:19888/jobhistory/logs</value> 
</property> 
<!-- 设置日志保留时间为 7 天 --> 
<property> 
    <name>yarn.log-aggregation.retain-seconds</name> 
    <value>604800</value> 
</property> 

2. 分发配置文件

xsync yarn-site.xml

3. 启动集群（dfs、yarn、historyserver）
   start-all.sh启动dfs以及yarn，再启动历史服务器。
   如果之前已经启动了集群服务，此处需要先关闭集群，再进行启动，因为修改了yarn的配置，需要重新启动才能起效。

start-all.sh
mapred --daemon start historyserver

测试日志聚合

提交任务后，即可在web端进入log页面：
在historyjob（hadoop101:19888）页面，点击右下角log进入查看：