Hadoop Job在集群上运行出现“Error initializing”错误

Hadoop Job在集群上运行出现Error initializing错误:
Error initializing attempt_201310091439_334992_m_000006_0:
org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find taskTracker/root/jobcache/job_201310091439_334992/job.xml in any of the configured local directories
	at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathToRead(LocalDirAllocator.java:445)
	at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathToRead(LocalDirAllocator.java:164)
	at org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1438)
	at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1310)
	at org.apache.hadoop.mapred.TaskTracker.startNewTask(TaskTracker.java:2727)
	at org.apache.hadoop.mapred.TaskTracker$TaskLauncher.run(TaskTracker.java:2691)
Google了一下,其中有一篇文章说可能是硬盘空间不足、目录丢失或者硬盘错误等原因。
我想硬盘错误是不可能的,要是硬盘错误,那么集群肯定可以发现的。空间不足和目录丢失倒是有可能。
查看了一下集群上这个task的信息,下面是截图,

上图显示task在一个节点上运行失败后,在另一个节点上重新运行,最终运行成功。
 
我想产生错误的原因极有可能是硬盘空间不足。
网上其他的一些资料也表明我的猜测是对的。
由于硬盘空间不足而导致初始化出错一般发生在大数据处理的Job运行过程中,这就说的通了!
我问过他们管理集群的人员,他们说,“没关系,是偶尔有一些Job会发生这个错误的,但是,不影响最终运行结果。”因为任务失败后,Hadoop会自动重新启动一个,只要有一个任务运行成功就成功了。上面的截图也说明了这个问题。
 
 
 
 
 
 

                
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值