历史服务器
作用:查看我们已经完成的任务历史记录,日志记录。
配置文件:mapred-site.xml
--》指定历史服务器所在位置及端口号
<property>
<name>mapreduce.jobhistory.address</name>
<value>bdqn.linux.com:10020</value>
</property>
--》指定历史服务器所在的外部浏览器交互端口号及机器位置
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bdqn.linux.com:19888</value>
</property>
日志聚合
作用:
一、将我们操作的日志文件聚合到一起,通过web界面方便我们查看,并可以设置日志保存时间,可节省空间
二、在网页能够查看map和reduce的任务日志
三、存储在HDFS上的,比较容易读取
配置:yarn-site.xml
--》开启日志聚合功能
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
--》指定日志保存时间
作用:查看我们已经完成的任务历史记录,日志记录。
配置文件:mapred-site.xml
--》指定历史服务器所在位置及端口号
<property>
<name>mapreduce.jobhistory.address</name>
<value>bdqn.linux.com:10020</value>
</property>
--》指定历史服务器所在的外部浏览器交互端口号及机器位置
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bdqn.linux.com:19888</value>
</property>
日志聚合
作用:
一、将我们操作的日志文件聚合到一起,通过web界面方便我们查看,并可以设置日志保存时间,可节省空间
二、在网页能够查看map和reduce的任务日志
三、存储在HDFS上的,比较容易读取
配置:yarn-site.xml
--》开启日志聚合功能
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
--》指定日志保存时间