大数据——配置19888历史端口

在mapred-site.xml中做如下配置 


#参数是Hadoop一个自带的历史服务器的address。
<property>
<name>mapreduce.jobhistory.address</name>
<value>mini1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>mini1:19888</value>
</property>

-----------------------------------------------------------------------
<！--MapReduce作业产生的日志存放位置-->
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/mr-history/tmp</value>
</property>
<！--开启日志聚合由mrjobhistory管理的日志-->
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/mr-history/done</value>
</property>


yarn-site.xml中如下配置：

<！--开启日志聚合-->
 <property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
-----------------------------------------------------------------------
<！--日志聚合目录 container的-->
 <property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/user/container/logs</value>
</property>


stop-yarn.sh

scp /apps/hadoop-2.7.1/etc/hadoop/yarn-site.xml /apps/hadoop-2.7.1/etc/hadoop/mapred-site.xml mini2://apps/hadoop-2.7.1/etc/hadoop/

但是我加上长虚线后的这三个配置之后失败，不知道为什么

 

通过start-all.sh启动hadoop各项节点后，historyserver并没有启动，需要手动启动，因此可以通过以下命令来手动启动historyserver。

启动命令：mr-jobhistory-daemon.sh start historyserver

关闭命令：mr-jobhistory-daemon.sh stop historyserver

开启后，jps，将会出现： JobHistoryServer，，现在连接19888端口即可。

PS:

ResourceManager 是8088端口