通过web查看job的运行情况

最新推荐文章于 2024-03-13 00:39:03 发布

爱萨萨

最新推荐文章于 2024-03-13 00:39:03 发布

阅读量2.3k

点赞数 1

分类专栏：技术-大数据文章标签： mapreduce job 运行情况

技术-大数据专栏收录该内容

205 篇文章 19 订阅

订阅专栏

　　当我们将作业提交到hadoop 的集群上之后，我们会发现一个问题就是无法通过web查看job运行情况，比如启动了多少个map任务，启动多少个reduce任务啊，分配多少个conbiner等等。这些信息都是作业在运行是可以查看的。而我的想要的就是能够通过远程的web可以查看到作业job的运行情况，以及它的详细信息。下面介绍一下查看的方式：

@@补充（需要程序在linux上运行哦）：hadoop 2 显示列出正在运行的job的名字: yarn application --list

　　1、当你提交作业时，我们首先通过命令行的方式提交作业后，我们可以打开Yarn的web界面，如下图所示：

在这个页面上可以看到作业的提交情况，若你提交作业之后会出现如下图所示：（请注意红色的矩形区域部分的变化）

当ApplicationMaster启动起来后就会看到如下图所示：此时可以点击ApplicationMaster进入查看作业job在运行的详细状态。

当作业运行完之后，我们可以看到上面第一幅图的样子。此时会显示History的状态，表示改作业已经运行完毕，如果想查看作业历史运行信息就可以点击History查看。若未启动historyserver的话，是无法查看作业job的历史记录的。因此需要启动作业的historyserver。

启动的方法是通过执行命令：

mr-jobhistory-daemon.sh start historyserver

也可以通过mapred historyserver的方式来启动。

@@补充：启动historyserver后，确实可以通过 http://master:19888 来查看历史job

在这之前必须要在mapred-site.xml中配置相应的参数：

 
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
 
        <property> 
       
        <name>mapreduce.jobhistory.done-dir</name> 
       
        <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value> 
       
        </property> 
       
        <property> 
       
        <name>mapreduce.jobhistory.intermediate-done-dir</name> 
       
        <value>${yarn.app.mapreduce.am.staging-dir} 
        /history/done_intermediate</value> 
       
        </property> 
       
        <property> 
       
        <name>yarn.app.mapreduce.am.staging-dir</name> 
       
        <value>/tmp/hadoop-yarn/staging</value> 
       
        </property>