在hadoop性能优化的实验中,碰到一个奇怪的问题,描述如下:
在shell端显示
job先执行时间:13:53:32~13:57:18(3m46s,根据shell终端显示计算)
Map执行时间:13:53:33~13:57:04(3m31s,根据shell终端显示的估计值)
Reduc执行时间:13:53:45~13:57:16(3m31s,根据shell终端显示的估计值)
但是为什么日志文件里面显示
job先执行时间:13:53:32~13:57:17(3m45s,hadoop内log4j记录,浏览器端查看)
Map执行时间:13:53:02~13:57:08(4m06s,hadoop内log4j记录,浏览器端查看)
Reduc执行时间:13:53:40~13:57:11(3m31s,hadoop内log4j记录,浏览器端查看)
为什么浏览器端显示Map在Job提交之前就已经开始执行了?
而且查看各个job日志发现都是Map先行,是否我的hadoop版本(0.20.2,branch-0.20 -r 911707; compiled by 'chrisdo)日志记录部分有问题?
如果有碰到碰见类似问题或者了解该问题原因的朋友,希望能够联系我,不胜感激
日志截图如下:
!