查看YARN中作业的两种日志方式如下:
方式一: 通过ResourceManagerWeb UI 查看日志:( 这种方式可以查看当前正在执行以及历史所有任务)
1.1 先找到 YARN ResourceManager 角色所在服务器的IP地址,可通过如下图方式进行查看。 CM操作路径:集群-YARN-实例-ResourceManage角色-主机。
1.2 然后查找端口, 通过查找yarn-site配置项 yarn.resourcemanger.webapp.address 的值,默认是8088. 如下图所示。操作路径:集群-YARN-配置-yarn.resourcemanger.webapp.address配置项的值。
1.3 最终通过在浏览器输入 ip:端口 即可。如下图所示:
方式二:通过 JobHistroyServer WebUI 查看日志 (这种方式可以看到历史所有任务)
2.1 先找到YARN JobHistoryServer 角色部署的机器ip ,如下图所示。通过路径 集群-实例-jobhistory server-主机 查看。
2.2 通过查看yarn-site.xml配置项 mapreduce.jobhistory.webapp.address 的值来确定端口,如下图所示。路径: 集群-配置- mapreduce.jobhistory.webapp.address 配置项的值,默认端口是19888。
2.3 通过ip:端口 即可访问jobhistory webapp ui 。如下图所示。