（九）大数据实战——hadoop集群的历史服务器配置与日志聚集

前言

前面的章节我们已经介绍过了关于hadoop集群部署的内容，延续上一节的内容。本节我们主要介绍一下关于hadoop集群历史服务器的配置与启动，方便我们查看hadoop操作过程中的一些任务执行情况。同时我们也配置一下hadoop集群的日志聚集功能，这样便于集中查看hadoop集群的日志。

正文

• hadoop集群执行任务历史服务器配置

①在hadoop101服务器上，使用vi编辑器在mapred-site.xml中增加以下内容

<!-- 历史服务器端地址 -->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>hadoop101:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>hadoop101:19888</value>
</property>

②分发mapred-site.xml配置文件到hadoop102、hadoop103服务器

hsync /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml

③启动历史服务器

 mapred --daemon start historyserver

④使用web端查看hadoop集群任务：http://hadoop101:19888/jobhistory 

•  hadoop集群日志聚集功能配置

①在hadoop101服务器上，使用vi编辑器在yarn-site.xml中增加以下内容

<!-- 开启日志聚集功能 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
	<name>yarn.log.server.url</name>
	<value>http://hadoop101:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>

②分发yarn-site.xml配置文件到其它集群

 hsync /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

③重启yarn组件和历史服务器historyserver

#停止yarn组件
stop-yarn.sh
#停止历史服务器
mapred --daemon stop  historyserver
#开启yarn组件
start-yarn.sh
#开启历史服务器
mapred --daemon start  historyserver

- 在hadoop102服务器上面重启yarn组件

- 在hadoop101服务器上重启历史日志服务器

⑤执行一个job，验证配置是否生效

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

⑥查看历史服务器

⑦查看任务执行日志

结语

至此，关于hadoop集群的历史服务器配置与日志聚集功能就介绍到这里，我们下期见。。。。。。