hadoop在浏览器端口查看日志

hadoop在浏览器端口查看日志，需要开启historyserver服务，其默认关闭，是一个独立的服务，网页查看端口号默认：19888，可在yarn-site.xml中配置，配置完后将配置文件复制到其他节点上。

mapred-site.xml

  <property>
    	<name>mapreduce.jobhistory.address</name>
    	<value>newmaster:10020</value>
    </property>
    <property>
    	<name>mapreduce.jobhistory.webapp.address</name>
    	<value>newmaster:19888</value>
    </property>

yarn-site.xml

<!--指定yarn.log.server.url所在节点-->
	<property>
	    <name>yarn.log.server.url</name>
	    <value>http://Bigdata00:19888/jobhistory/logs</value>
	</property>

 log collection配置

将每个Nodemanager上的任务日志统一收集到HDFS上,因为通常日志都是分散在不同的nodemanager节点上，不方便统一管理与问题排查。yarn-site.xml

 

<!--给yarn配置日志聚集功能-->
<property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
</property>
<property>
     <name>yarn.log.server.url</name>
     <value>http://shufang102:19888/jobhistory/logs</value>
</property>
<property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
</property>

 配置后在hadoop根目录下的sbin目录下，执行命令：mr-jobhistory-daemon.sh start historyserver，然后通过jps查看是否成功

 

 

 如果报错打开logs时报错，Could not load history file hdfs://master:8020/tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1651762944196_0005-1651765932967-root-max_minTemperature-1651765951623-1-1-SUCCEEDED-default-1651765938549.jhist

/tmp/logs 目录权限问题
修改权限为777 即可