hadoop多次格式化后,导致的问题

1.hadoop namenode多次格式化可能导致的问题

   1.1 各个单独结点可以起来(jps有进程提示)但是用hdfs dfsadmin -report去查各项结果都为0。

   1.2使用start-dfs.sh只启动了namenode没有启动datanode,且-report的结果也全0

遇到这个问题我开始怎么也解决不了,只好从头重新安装配置了一次lunix和hadoop,成功解决。

结果在配置hadoop.tmp.dir时,又要重新对hdfs namenode -format,又出现了上述2的现象,这次接受不了这个重装的方法,于是借鉴各位网有的博客,终于解决了。

解决方法如下:

  1.在Hadoop的解压包下,找到share/doc/index.html,找到core-default.xml,里面找到dfs.namenode.dir和dfs.datanode.dir(如果你没有修改过的话)

   

2.到hadoop环境中根据以上查询到的目录,首先找到namenode.dir对应的目录下,找到dfs/name/current/VERSION,

vim VERSION,查看clusterID值并复制保存下来。

按照以上方式,(对所有的datanode进行操作)找到datanode.dir对应的目录,找到dfs/name/current/VERSION,vim VERSION,查看clusterID值。

3.对比两个clusterID值,如果不同,说明找到问题所在。

4.将datanode的clusterID值改成namenode一样的。

5.重启集群start-dfs.sh

以上完成。

笔者在因为之前改了namenode的hadoop.tmp.dir所以在找namenode的dfs.namenode.dir时,根据index.html提示就找到了目录,但是再找dfs.datanode.dir出现了问题,根据namenode的tmp.dir找不到,自己默认的也找不到,只好去查datanode的logs文件,所幸在里面看到了一条记录

2018-09-28 12:43:51,515 INFO org.apache.hadoop.hdfs.server.common.Storage: Locking is disabled for /tmp/hadoop-root/dfs/data/current/BP-1462737579-192.168.56.100-1538109733553

/tmp/hadoop-root/dfs/data/current/就找到了。

找不到以上目录的可以尝试上面的方法

 

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值