在搭建好Hadoop集群后,namenode与datanode两个过程不能起来,或者一个启动之后另一个自动关闭

故障现像

    此故障可以算是在换电脑搭集群后最多的故障了,首先是从节点上相关进程都没起来,后来又是进程起来后从节点上datanode节点没起来,最后是datanode进程起来之后,主节点上namenode进程又没起来。此故障看起来一波三折,实际上在理解好相关原理后,解决起来要比第一个故障轻松一些。


解决思路

    原理为先:首先要找到对应关系,主节点上namenode主要是跟从节点上datanode相对应。

                                  主节点上jobtracker主要是跟从节点是tasktrack相对应。

    故障细分:1,从节点上进程起不来。2,datanode无法开启 3,namenode无法开启


解决步骤

    此故障在网上也是有很多攻略,在看完其他人的解决方法后。从理论联系实操分三步走来解决这个故障:


1,从节点上进程无法启动,这个问题较为简单。大部分是由于各虚拟机之间的防火墙没有关闭,而在真实的生产系统中。也表现来Linux之间的防火墙问题导致的HDFS集群不通。又或者是暂时性关闭防火墙,没有永久性关闭。具体的命令从网上都可以找到。

2,datanode无法开启,这里就要寻找你当初设置此集群时的六个文件,里边就有设置的相关参数。主要是在core-site.xml内,在这个里边,我们设置了相关临时文件夹,也相当于这个进程在开启之后是否与主节点需要通信。当把这里边建立的tmp文件夹删除之后,从节点上的datanode就可以顺利开启了。

3,namenode无法开启,由于从上边的原理上来看,datanode与namenode是相互依存的关系,而它们之间要启动肯定是同时启运的。不会一个开启,一个关闭。若是这样,那肯定另一个进程一会儿也会自动关闭。而控制两个进程之间同步的有时间戳消息。而这个消息主要是在logs日志里。当把hadoop安装目录下的logs全删除后。


然后,将全部进程停止,再全部重新启动。所有进程就都起来了。至此,故障解决!!


故障反思

    此故障解决起来,主要是要把原理搞明白。不然在看网上相关攻略的时候总是会找不到方法。多去思考背后的原因,多去总结,反思!提升自己解决问题的能力!


转载请注明出处:http://blog.51cto.com/bingyang/1968998


  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值