出错现象:1.启动hdfs,再输入jps时发现进程没有正确显示。
2.查看日志datanodes,发现有错
3.查看日志namenode,会出现这样的错误:Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.
解决方法:
1.有可能是之前格式化多次或者是手动输入了主要配置文件(有时候即使肉眼看起来内容一样,但其中也有可以会出现错误,所以建议配置文件最好是去复制粘贴。相关配置文件可以查看这里Hadoop入门(十)——集群配置(图文详解步骤2021)_Leokadia Rothschild的博客-CSDN博客_hadoop配置集群)
2.首先关闭集群,然后重新配置上面的重要文件.(注意配置完后还需要再次分发到其他从机上)
3.配置完后,启动集群发现jps中,出现了datanodes,但是namenode没有,这是由于集群崩溃。不用担心,我们把相关文件夹删了,再重新格式化一次就好了。
具体操作如下:
1)返回到目录:cd &HADOOP_HOME
2)然后杀死进程:sbin/stop-dfs.sh
3)删除每个集群上的data和logs:rm -rf data/ logs
4)再进行格式化:hdfs namenode -format
5)最后启动集群就可以正常显示进程了:sbin/start-dfs.sh