hadoop遇错总结

start-dfs.sh后，jps namenode server起来了，但是界面没有

查看log日志发现是ip,host没有配对，导致访问127.0.0.1：50070

vim /etc/hosts 加上映射ip host映射后，source一下。 再次启动

查看界面已经有了，log里面也连接到host了

2021-01-28 09:55:25,985 INFO org.apache.hadoop.hdfs.DFSUtil: Starting Web-server for hdfs at: http://henghe-051:50070

 

文件上传后，namenode中所有size都是0

下载跳转界面报错

可能原因: 多次格式化，导致namenode元数据中namenode和datanode的VERSION中的clusterId与blockpoolID不一致导致的问题。

查看datanode下存储，全部为空

解决：方法一：因为我这是自己的测试机器，数据也还没有多少，直接将元数据目录(core-site.xml中hadoop.tmp.dir配置的路径)删掉，再bin/hadoop namenode -forma

再 sbin/start-dfs.sh 

解决了，但是仅在测试环境，生产环境中应该不会出现这种问题，因为这是刚搭建时候出现，并不是随着数据量增大而产生。