hadoop在浏览器端口查看日志,需要开启historyserver服务,其默认关闭,是一个独立的服务,网页查看端口号默认:19888,可在yarn-site.xml中配置,配置完后将配置文件复制到其他节点上。
mapred-site.xml
<property>
<name>mapreduce.jobhistory.address</name>
<value>newmaster:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>newmaster:19888</value>
</property>
yarn-site.xml
<!--指定yarn.log.server.url所在节点-->
<property>
<name>yarn.log.server.url</name>
<value>http://Bigdata00:19888/jobhistory/logs</value>
</property>
log collection配置
将每个Nodemanager上的任务日志统一收集到HDFS上,因为通常日志都是分散在不同的nodemanager节点上,不方便统一管理与问题排查。yarn-site.xml
<!--给yarn配置日志聚集功能-->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://shufang102:19888/jobhistory/logs</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
配置后在hadoop根目录下的sbin目录下,执行命令:mr-jobhistory-daemon.sh start historyserver,然后通过jps查看是否成功
如果报错打开logs时报错,Could not load history file hdfs://master:8020/tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1651762944196_0005-1651765932967-root-max_minTemperature-1651765951623-1-1-SUCCEEDED-default-1651765938549.jhist
/tmp/logs 目录权限问题
修改权限为777 即可