启动hadoop集群的时候只能启动一个namenode，另一个报错There appears to be a gap in the edit log. We expected txid 6, but ...

最新推荐文章于 2023-12-08 11:02:12 发布

weixin_30878361

最新推荐文章于 2023-12-08 11:02:12 发布

阅读量381

点赞数

原文链接：http://www.cnblogs.com/xuziyu/p/10665176.html

版权

在启动Hadoop集群时遇到Namenode报错：There appears to be a gap in the edit log. We expected txid 6, but got txid 10. 通过分析日志和理解Namenode启动过程，确定问题出在Journalnode的Edits数据丢失。解决方案是将Active Namenode的Edits数据复制到所有Journalnode，并进行元数据恢复，确保无数据丢失。" 130837790,11050177,软考中级：软件设计师选择题详解及解析,"['软件设计师', '计算机系统', '网络', '数据库', '软件工程']

摘要由CSDN通过智能技术生成

背景：昨晚11点40几分，终于各个集群组件都启动成功了，然后心满意足的去睡觉了，但是今早再起来再去启动的时候就出现了namenode的问题，然后就开始了查找原因的艰辛历程。

查看报错的log日志：

2019-04-07 13:22:57,746 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: There appears to be a gap in the edit log. We expected txid 6, but got txid 10.
at org.apache.hadoop.hdfs.server.namenode.MetaRecoveryContext.editLogLoaderPrompt(MetaRecoveryContext.java:94)
at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadEditRecords(FSEditLogLoader.java:212)
at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadFSEdits(FSEditLogLoader.java:140)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadEdits(FSImage.java:835)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:690)
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverT