Hadoop日志聚合和jobhistoryserver配置

最新推荐文章于 2023-08-31 09:02:39 发布

lishengping_max

最新推荐文章于 2023-08-31 09:02:39 发布

阅读量7k

点赞数 1

分类专栏： Hadoop 文章标签： hadoop jobhistory

本文链接：https://blog.csdn.net/qq_23146763/article/details/71896401

版权

Hadoop 专栏收录该内容

9 篇文章 1 订阅

订阅专栏

一、前言

安装了hadoop-2.7.3集群，登陆YARN WEB界面,发现下图mapreduce应用UI入口都无法使用，现记录下处理方案
这里写图片描述

二、处理方案

1.yarn-site.xml配置yarn.resourcemanager.webapp.address，如果没配置ApplicationMaster入口无法使用

 <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>rmhost:8088</value>
 </property>

2.mapred-site.xml配置jobhistoryserver,没配置History入口无法使用

<property>
<name>mapreduce.jobhistory.address</name>
<value>rmhost:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>rmhost:19888</value>
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/mr-history/tmp</value>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/mr-history/done</value>
</property>

注意：jobhistoryserver需单独启动

sbin/mr-jobhistory-daemon.sh start historyserver

3.yarn-site.xml配置日志聚合，没配置History入口的map、reduce、applicationMaster日志无法查看

 <!-- 开启日志聚合 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志聚合目录 -->
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/user/container/logs</value>
</property>