Hadoop配置历史服务器和日志聚集

1、配置历史服务器

配置 mapred-site.xml

<!-- 历史服务器端地址  将历史服务器mapreduce.jobhistory.address配置在hadoop102:10020内部通讯端口 --> 
<property> 
    <name>mapreduce.jobhistory.address</name> 
    <value>hadoop102:10020</value> 
</property> 

<!-- 历史服务器 web 端地址 历史服务器对外暴露的接口 --> 
<property> 
    <name>mapreduce.jobhistory.webapp.address</name> 
    <value>hadoop102:19888</value> 
</property> 

使用脚本分发文件

重新启动所有的服务

在启动历史服务器

mapred --daemon start historyserver

测试

hadoop fs -mkdir /input
hadoop fs -put wcinput/word.txt /input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount  /input /out

2、日志聚集

点击日志服务器中的logs

配置 yarn-site.xml

<!-- 开启日志聚集功能 --> 
<property> 
    <name>yarn.log-aggregation-enable</name> 
    <value>true</value> 
</property> 
<!-- 设置日志聚集服务器地址 --> 
<property>   
    <name>yarn.log.server.url</name>   
    <value>http://hadoop102:19888/jobhistory/logs</value> 
</property> 
<!-- 设置日志保留时间为 7 天 --> 
<property> 
    <name>yarn.log-aggregation.retain-seconds</name> 
    <value>604800</value> 
</property> 

关闭yarn服务 历史服务器

mapred --daemon stop historyserver
sbin/stop-yarn.sh 

重启yarn服务 历史服务器

mapred --daemon start historyserver
sbin/start-yarn.sh 

测试