问题现象
hadoop yarn的web ui上查看job执行日志报错:
问题分析
出现这个现象有两个原因:
一、没有在mapred-site.xml
中配置jobhistory访问地址:
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.2.177:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.2.177:19888</value>
</property>
其中ip换成你master节点的ip。
二、没有在yarn-site.xml
中配置jobhistory rest api接口地址
<property>
<name>yarn.log.server.url</name>
<value>http://192.168.2.177:19888/jobhistory/logs</value>
</property>
ps:还有一个需要注意的是如果地址栏中的地址是域名(master主机名)而不是ip的时候,在访问的机器上需要修改hosts文件,添加ip和主机ming的映射
结果如下成功获取日志:
问题总结
像这种成熟的软件,官方文档是非常完善的,当遇到问题时需要静下心来从中找到答案。