hadoop 启动运行遇到的问题汇总

1、使用 sbin/start-all.sh 启动集群时发现namenode未启动

---

• 问题描述
  使用上述方式启动集群后，jps查看进程信息时发现没有namenode进程，但是其他的进程都正常的启动了
• 原因分析
  在/hadoop/logs文件夹下打开namenode的日志，错误信息如下：

2021-03-05 09:54:17,788 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/data/name is in an inconsistent state: storage directory does not exist or is not accessible.
	at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:389)
	at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:240)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1132)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:747)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:652)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:723)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:966)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:939)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1705)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1772)
2021-03-05 09:54:17,789 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1: org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/data/name is in an inconsistent state: storage directory does not exist or is not accessible.
2021-03-05 09:54:17,791 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoop01/192.168.1.82
************************************************************/

可以发现是hadoop数据存储目录出了问题。
因为之前的hadoop数据存储目录分配错了，之后对hadoop的数据存储目录做了调整（相关配置在core-site.xml中），之后直接启动集群，于是就报了上述错误。

• 解决方案
  格式化以下namenode

hadoop namenode -format

&& 当hadoop出现问题时，注意考虑磁盘空间、内存空间等问题

2、zookepeer启动总显示已启动，jps没有zk的进程

---

• 问题描述
  zookeeper启动信息如下图：
  
  这时候jps，没有QuorumPeerMain进程
• 原因分析
  出现这样的情况大多因为zk非正常关闭引起的
• 解决方案
  在zk的配置文件zoo.cfg中找到datadir配置项，进入datadiri配置的目录删除zookeeper_server.pid
  
  之后重新启动 OK！