我们在hadoop集群一般需要在工作台查看日志,但是工作台查看日志一般会出现以下情况:

上面的原因是由于yarn的日志监控功能默认是处于关闭状态的,需要我们进行开启,开启步骤如下:
一、在yarn-site.xml文件中添加日志监控支持
该配置中添加下面的配置:
<!-- 开启日志聚合 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志时长 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>640800</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://master:19888/jobhistory/logs/</value&g

本文档详细介绍了在Hadoop集群中解决YARN日志查看问题的步骤,包括在`yarn-site.xml`和`mapred-site.xml`配置文件中添加日志监控支持,将配置文件同步到集群节点,重启HDFS和YARN服务,以及启动日志监控服务进程,确保能够通过JobHistoryServer查看日志。
最低0.47元/天 解锁文章
4533

被折叠的 条评论
为什么被折叠?



