Hadoop历史服务器配置以及日志管理

前言：

先说一下配历史服务器的作用
可以帮助我们查看hdfs后hue上的日志，更好的分析和解决问题

先在Hadoop的配置文件mapred-site.xml中添加下面内容：

<property>
<name>mapreduce.jobhistory.address</name>
<value>node01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node02:19888</value>
</property>

在配置日志聚集功能配合历史服务器联合使用：在配置文件yarn-site.xml中增加下面配置

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

配置完成后重新启动集群并打开历史服务器进程

stop-all.sh
//在Hadoop安装目录下执行
sbin/mr-jobhistory-daemon.sh start historyserver  //开启
sbin/mr-jobhistory-daemon.sh stop historyserver  // 关闭

最后可以在web页面查看，端口号为19888
在hue里则查看Job Browser里的任务日志