实验环境centos6.8
hadoop版本:2.7.2
初学入门,不足之处还请见谅。
一、情景如下:
jps查看进程时发现namenode节点时有时无,于是多次格式化namenode,然后上传文件就开始报错。细心的话可以发现再次格式化过程中会有确认消息。大佬说是这个问题一般是由于使用hadoop namenode -format 格式化多次,导致spaceID不一致造成的。
二、解决方法(以下操作均在hardoop安装目录里执行)
1、停止所有节点
stop-all.sh#会有提示信息:This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh意思是说这个脚本过时了,换成其他的,不用理会还是可以用的,就是需要输入好多次密码。
2、清理Hadoop运行时产生的文件(即core-site.xml配置的hadoop.tmp.dir),我指定的是hardoop安装目录里的data/tmp。
rm -rf data/tmp/*
3.重新格式化namenode节点
bin/hdfs namenode -format
4.重新启动hadoop集群
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
到此,就完成了,但是我比较懒,所以写了一个脚本,想用的可以改一下。
#!/bin/bash
stop-all.sh
rm -rf data/tmp/*
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
bin/hdfs dfs -mkdir -p /user/cookie/input
bin/hdfs dfs -put wcinput/wc.input /user/cookie/input
再次提醒,以上操作均在hadoop安装目录里操作。
再更,今早刚看了下一个视频,刚好讲的就是情况,老师也分析了一下,我给大家分享一下吧!
上面的就是啦!