启动Hadoop集群遇到的问题

启动

启动HDFS服务(第一次初始化)

# 分别在每台节点上启动journalnode
[root@CentOSX ~]# hadoop-daemon.sh start journalnode //等上10秒钟，再进行下一步操作 每一个节点都启动

# 在HadoopNode01 格式化 namenode
[root@CentOSA ~]# hdfs namenode -format
# 在HadoopNode01 启动 namenode
[root@CentOSA ~]# hadoop-daemon.sh start namenode

# 在HadoopNode02 格式 namenodeStandby
[root@CentOSB ~]# hdfs namenode -bootstrapStandby （下载active的namenode元数据）
# 在HadoopNode02 启动 namenode
[root@CentOSB ~]# hadoop-daemon.sh start namenode

# 在01或者02节点上格式化zkfc
[root@CentOSA|B ~]# hdfs zkfc -formatZK （可以在CentOSA或者CentOSB任意一台注册namenode信息）
# 在01节点上启动zkfc
[root@CentOSA ~]# hadoop-daemon.sh start zkfc (哨兵)
# 在02节点上启动zkfc
[root@CentOSB ~]# hadoop-daemon.sh start zkfc (哨兵)

# 分别再每台节点上启动  datanode
[root@CentOSX ~]# hadoop-daemon.sh start datanode

启动yarn

# 在02节点上启动resourcemanager
[root@CentOSB ~]# yarn-daemon.sh start resourcemanager
# 在03节点上启动resourcemanager
[root@CentOSC ~]# yarn-daemon.sh start resourcemanager
# 分别在每个节点上启动nodemanager
[root@CentOSX ~]# yarn-daemon.sh start nodemanager

问题：

• datanode没起来

更新data/current/VERSION 中的clusterID跟nameNode一致

[root@hadoop01 current]# cat VERSION 
#Mon Jun 15 20:52:23 CST 2020
storageID=DS-4bf2eec6-2971-418c-aa6b-87c7536a7944
clusterID=CID-21961cb3-9e92-49b5-b8cf-f724975b3a5f
cTime=0
datanodeUuid=b36898b0-3da6-4d7e-81dc-de681ba1b581
storageType=DATA_NODE
layoutVersion=-56

• namenode没起来，格式化，修复一下

hadoop namenode -recover

• IPC’s epoch 1 is less than the last promised epoch 2

因为hdfs namenode -bootstrapStandby 格式化了Standby导致什么东西不一致了，重新来