hadoop
iteye_3128
这个作者很懒,什么都没留下…
展开
-
Shuffle's getMapOutput() fails with EofException, followed by IllegalStateExcept
在查看tasktracker日志时,发现报错2013-12-18 15:56:29,527 WARN org.mortbay.log: Committed before 410 getMapOutput(attempt_201311271626_585288_m_000024_0,2) failed :org.mortbay.jetty.EofException...2...原创 2013-12-18 18:29:47 · 125 阅读 · 0 评论 -
hadoop job推测执行
什么是推测执行?所谓的推测执行,就是当所有task都开始运行之后,Job Tracker会统计所有任务的平均进度,如果某个task所在的task node机器配置比较低或者CPU load很高(原因很多),导致任务执行比总体任务的平均执行要慢,此时Job Tracker会启动一个新的任务(duplicate task),原有任务和新任务哪个先执行完就把另外一个kill掉 怎么...原创 2013-04-08 19:32:25 · 176 阅读 · 0 评论