Error: recoverUnfinalizedSegments failed for required journal-CSDN博客

本文链接：https://blog.csdn.net/bigdata_wangzhe/article/details/114763653

现象:namenode宕机，启动一分钟后又宕机，导致集群不健康，所有任务运行失败

发现初步问题：同事的误操作导致磁盘100%

随即删除一些不需要的东西，并且重新启动，我日，重启了好多遍，namenode还是无法启动

情况比我想象的严重，于是进一步查找问题

第一步：根据如下日志怀疑可能跟安全模式有关，尝试使用命令sudo -u hdfs hdfs dfsadmin -fs hdfs://master01:8020 -safemode leave强制离开安全模式，出现无法连接namenode的错误(纳尼，重试了n次，此路不通)

Execution of ‘/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://master01:8020 -safemode get | grep ‘Safe mode is OFF’’ returned 1

第二步：查看namenode日志(如下)，recoverUnfinalizedSegments failed for required journal，应该跟journal服务有关系（离问题更近一点了）

2021-03-13 16:40:12,443 FATAL namenode.FSEditLog (JournalSet.java:mapJournalsAndReportErrors(390)) - Error: recoverUnfinalizedSegments failed for required journal (JournalAndStream(mgr=QJM to [172.16.16.226:8485, 172.16.16.227:8485, 172.16.16.223:8485], stream=null))
java.io.IOException: Timed out waiting 120000ms for a quorum of nodes to respond.
at org.apache.hadoop.hdfs.qjournal.client.AsyncLoggerSet.waitForWriteQuorum(AsyncLoggerSet.java:137)
at org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager.createNewUniqueEpoch(QuorumJournalManager.java:204)
at org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager.recoverUnfinalizedSegments(QuorumJournalManager.java:443)
at org.apache.hadoop.hdfs.server.namenode.JournalSet $6 . a p p l y (J o u r n a l S e t . j a v a : 616) a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . n a m e n o d e . J o u r n a l S e t . m a p J o u r n a l s A n d R e p o r t E r r o r s (J o u r n a l S e t . j a v a : 385)<$