hadoop运维记录之二:tasktracker启动后”假死“

本文记录了一次Hadoop集群中TaskTracker因服务器磁盘损坏导致任务失败,进而出现启动后假死的现象。通过分析源代码发现,TaskTracker在启动时清理本地临时文件耗时过长。解决方案是手动清理mapred本地目录下的临时文件,以使TaskTracker成功启动。
摘要由CSDN通过智能技术生成

       由于hadoop集群中某台服务器磁盘损坏,导致该服务器tasktracker 任务失败率大增(失败原因:分配到该服务器的任务的临时目录选择了损坏的磁盘,导致job初始化是失败),所以决定将坏的磁盘从tasktracker中的mapred本地目录中删除,然后重启tasktracker。

        操作步骤如下:

       1)修改完mapred-site.xml配置文件;

        2)重启tasktracker;

       3)跟踪tasktracker日志,以确保tasktracker能够正常启动

       在跟踪日志时,发现tasktracker启动后陷入了“假死”的状态,具体的现象如下:

       1)tasktracker日志输出到下述语句后就再也没有任何输出

org.apache.hadoop.mapred.TaskTracker: Starting tasktracker with owner as hadoop

       2)jobtracker活跃tasktracker列表中没有该服务器

      重启tasktracker也无法解决该问题,再网上也没能找到答案,没办法,只能去尝试看tasktracker的源代码,看tasktracker在输入该条日志后,到底在做些什么?

       hadoop tasktracker源代码路径:/opt/modules/hadoop/hadoop-0.20.203.0/src/mapred/org/apache/had

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值