如何通过web查看job的运行情况

本文介绍了如何通过Web界面来查看和监控Yarn作业的运行状态。从提交作业开始,通过命令行提交后,可以在Yarn的web界面观察作业的提交、ApplicationMaster启动、运行详细状态以及作业完成后的History记录。作业完成后,可点击History查看历史信息,但需确保historyserver已启动。启动historyserver的命令为:mr-jobhistory-daemon.sh start historyserver 或 mapred historyserver。
摘要由CSDN通过智能技术生成
当我们将作业提交到hadoop 的集群上之后,我们会发现一个问题就是无法通过web查看job运行情况,比如启动了多少个map任务,启动多少个reduce任务啊,分配多少个conbiner等等。这些信息都是作业在运行是可以查看的。而我的想要的就是能够通过远程的web可以查看到作业job的运行情况,以及它的详细信息。下面介绍一下查看的方式:

  1、当你提交作业时,我们首先通过命令行的方式提交作业后,我们可以打开Yarn的web界面,如下图所示:

在这个页面上可以看到作业的提交情况,若你提交作业之后会出现如下图所示:(请注意红色的矩形区域部分的变化)

当ApplicationMaster启动起来后就会看到如下图所示:此时可以点击ApplicationMaster进入查看作业job在运行的详细状态。

当作业运行完之后,我们可以看到上面第一幅图的样子。此时会显示History的状态,表示改作业已经运行完毕,如果想查看作业历史运行信息就可以点击History查看。若未启动historyserver的话,是无

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值