Hadoop+spark+jupyter环境搭建（四）：Hadoop 安装配置错误总结

myz95

于 2018-05-14 09:26:18 发布

阅读量1.7k

点赞数

文章标签： Hadoop

本文链接：https://blog.csdn.net/weixin_41867777/article/details/80305388

版权

这篇博客总结了初次配置Hadoop时遇到的错误，提供了快速解决环境搭建问题的方法。对于初学者，作者建议使用Docker镜像来简化配置过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

  在配置Hadoop的过程中，遇到不少问题，特此记录一下，希望对大家有些许帮助。 

  注意，我们通过shell脚本启动Hadoop时，一般不会报错，需查看Hadoop下的logs文件夹里的日志信息，才能看到报错信息。 

  1. 缺少namenode进程 

  日志报错信息： 

...
2018-05-11 14:49:34,166 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /mnt/hdfs/namenode/in_use.lock acquired by nodename 4790@myz-master
2018-05-11 14:49:34,168 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: NameNode is not formatted.
...

  解决：hadoop namenode -format 

  注意该命令需要在停止Hadoop相关进程的情况下使用(./stop-all.sh 停止全部进程) 

  日志报错信息： 

最低0.47元/天解锁文章