Hadoop伪分布式环境-历史服务器、日记聚集 第二篇

前情概述

linux下伪分布式的搭建，hdfs和yarn可以看前面hadoop第一篇，本文配置在第一篇的基础上实现。

配置历史服务器

配置mapred-site.xml

	/opt/module/hadoop/etc/hadoop
	vim mapred-site.xml
	在该文件里面增加如下配置。
	<!-- 历史服务器端地址 -->
	<property>
	<name>mapreduce.jobhistory.address</name>
	<value>hadoop102:10020</value>
	</property>
	<!-- 历史服务器web端地址 -->
	<property>
	    <name>mapreduce.jobhistory.webapp.address</name>
	    <value>hadoop102:19888</value>
	</property>

启动历史服务器

mr-jobhistory-daemon.sh start historyserver

查看历史服务器是否启动

[cgd@hadoop102 hadoop]$ jps
2576 SecondaryNameNode
2258 DataNode
72291 ResourceManager
94596 Jps
72488 NodeManager
94507 JobHistoryServer
1885 NameNode

查看JobHistory web

http://hadoop102:19888

配置日志的聚集

前言

	将程序运行日志信息上传到HDFS
	便于查看程序运行信息

配置yarn-site.xml

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

		<!-- 日志保留时间设置7天 单位：s秒 -->
		<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
		</property>
		 <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>20480</value>
       </property>
       <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                 <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>2.1</value>
        </property>

关闭NodeManager 、ResourceManager和HistoryServer

stop-yarn.sh
mr-jobhistory-daemon.sh stop historyserver

启动NodeManager 、ResourceManager和HistoryServer

start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

执行WordCount程序

hadoop jar ../../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /data/input /data/output

web端查看日志

http://hadoop102:19888

![在这里插入图片描述](https://img-blog.csdnimg.cn/20200928132821778.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1ODQ5NTIz,size_16,color_FFFFFF,t_70#pic_center