Hadoop（2）：MR日志聚合以及服务开启

一、日志服务：

1、历史服务器作用：

        查看已经运行完成的应用记录。需要指定historyserver的地址，内部和外部通信端口号，如果不指定默认是本机。historyserver是一个轻量级的服务，可以部署在任意一台节点上。必须开启日志服务才可以看聚合（保存）下来的日志。
2、配置（在mapred-site.xml中）：
    注意：这里的端口号不能随便修改

<property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop01:10020</value>
</property>
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>hadoop01:19888</value>	  
</property>

二、日志聚合

1、功能作用

开启聚合功能，可以将mapreduce任务日志保存，方便history服务器进行查询。
2、修改yarn-site.xml
    指定开启聚合功能
    指定日志存放在HDFS上的时间期限，一般建议3-7天左右，存放在HDFS的/tmp/用户之下

<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>106800</value>
</property> 

3、指定存放已经完成的Hadoop的作业记录（可以采用默认）

<property>
	<name>mapreduce.jobhistory.done-dir</name>
	<value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
</property>

4、指定存放的正在运行的Hadoop作业记录（可以采用默认）

<property>
	<name>mapreduce.jobhistory.intermediate-done-dir</name>
	<value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value>
	<description></description>
</property>

5、提交job作业记录的目录位置（可以采用默认）

<property>
	<name>yarn.app.mapreduce.am.staging-dir</name>
	<value>/tmp/hadoop-yarn/staging</value>
	<description>The staging dir used while submitting jobs.</description>
</property>

三、测试

1、重启yarn进程

2、开启historyserver服务

sbin/mr-jobhistory-daemon.sh start historyserver