在Hadoop 2.7.5中，通过配置mapreduce.jobhistory.webapp.address参数，可以在mapred-site.xml中指定jobhistory服务器地址。启动历史服务器后，访问该地址可查看所有job的历史记录。深入查看详情页面，可以获取每个map和reduce任务的数量、成功率及执行时间。进一步点击任务名称，能定位到具体执行节点，从而找出执行最慢的任务及其所在节点。
以hadoop2.7.5为例
有一个mapreduce.jobhistory.webapp.address参数，这个参数配置在 mapred-site.xml文件中
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop02:19888</value> //为防止NN的failover，这块应该配置成集群的名字
</property>
配置好后，启动jobserver history服务器 sh $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
在浏览器输入 http://hadoop02:19888 ，就可以看到全部job的执行历史
点击一个job ID，就进入到了这个job的执行详情页，这里就可以看到有几个map task和几个reduce task以及成功失败数量
点击task type的一个类型，就可以看到这类task中所有task的执行时间
再点击name就可以看到这个task是在哪个节点上执行的。
由此就可以定位到job中执行时间最长的task是哪个在哪个节点上执行的
最低0.47元/天 解锁文章
扫一扫
2012
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
