Hadoop 开启 histotryserver

Hadoop 开启 histotryserver

Hadoop自带了一个历史服务，可以通过历史服务在web端查看已经运行完的Mapreduce作业记录，
默认情况下，Hadoop历史服务是没有启动的，需要自行启动。
启动后，在下图中点击history可跳转至历史服务查看信息。

配置历史服务器

配置文件mapred-site.xml

配置文件在hadoop文件夹下的etc/hadoop中。

在该配置文件中添加如下代码：

mapreduce.jobhistory.address 启动历史服务器的端口，

mapreduce.jobhistory.webapp.address 历史服务器web端的端口。

<configuration>
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>spark01:10020</value>
</property>
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>spark01:19888</value>
</property>
</configuration>

配置文件yarn-site.xml

配置文件在hadoop文件夹下的etc/hadoop中。

在该配置文件中添加如下代码：

yarn.log-aggregation-enable 是否开启日志聚集功能

yarn.log.server.url 日志聚集服务器地址

yarn.log-aggregation.retain-seconds 日志保留时间

</configuration>
<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
</property>
<property>
        <name>yarn.log.server.url</name>
        <value>http://spark01:19888/jobhistory/logs</value>
</property>
<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
</property>
</configuration>

启动hadoop集群

start-all.sh

启动历史服务

在历史服务器执行以下命令

mr-jobhistory-daemon.sh start historyserver

或者

mapred --daemon start historyserver

mapred --daemon start historyserver

查看历史服务

jps

浏览器访问：http://spark01:19888

测试历史服务

上传一个测试任务，其中 /wordcount/input 中包含有一个txt文件，可以自行创建任意内容，输出到名为 /wordcount/result 的目录中。

hadoop.jar 为自己编写的 单词统计程序

hadoop jar hadoop.jar com.lihaozhe.mapreduce.wordcount.WordCountDriver

等待任务运行完成后,在浏览器查看运行情况：