查看mapreduce程序每个 map task 或者 reduce task 执行时间

 

以hadoop2.7.5为例

有一个mapreduce.jobhistory.webapp.address参数，这个参数配置在 mapred-site.xml文件中

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop02:19888</value> //为防止NN的failover，这块应该配置成集群的名字
</property>

配置好后，启动jobserver history服务器 sh $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

在浏览器输入 http://hadoop02:19888 ，就可以看到全部job的执行历史

点击一个job ID，就进入到了这个job的执行详情页，这里就可以看到有几个map task和几个reduce task以及成功失败数量

点击task type的一个类型，就可以看到这类task中所有task的执行时间

再点击name就可以看到这个task是在哪个节点上执行的。

由此就可以定位到job中执行时间最长的task是哪个在哪个节点上执行的