关于hadoop无法启动namenode的问题

最新推荐文章于 2021-08-10 08:07:43 发布
最新推荐文章于 2021-08-10 08:07:43 发布
阅读量2k 收藏
点赞数 1
分类专栏： Linux hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42385284/article/details/88960678
版权
hadoop 同时被 3 个专栏收录
7 篇文章 0 订阅
订阅专栏
Linux
5 篇文章 0 订阅
订阅专栏
大数据
3 篇文章 0 订阅
订阅专栏

关于hadoop无法启动namenode的问题


今天在启动hadoop时发现所有服务都可以启动，唯独NameNode节点启动不来.
查看log日志后发现启动报如下错误
java.io.IOException: Gap in transactions. Expected to be able to read up until at least txid 1365 but unable to find any edit logs containing txid 1
根据查到的资料使用hadoop namenode -recover
在一堆提示后选择yes 然后选择C .
然而在这个过程中报错了
java.lang.IllegalStateException: Cannot skip to less than the current value (=19823), where newValue=16385
我试着重启了一下NameNode 果然问题还是没有解决

最后只好使用hdfs namenode -format重新格式化了一下NameNode
这次再执行hadoop namenode -recover没有报错
然后再清空DataNode下的数据,也就是清空dfs.data.dir参数配置的目录,如果不清空该目录数据 DataNode启动会出现问题
执行sbin/start-dfs.sh后jps查看NameNode启动成功

_哲
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
搭建hadoop HA高可用集群启动其中一个namenode其中之后，没一会挂掉
qq_44982182的博客
08-16 1059
出现的问题现象： start-dfs.sh启动时警告： [hadoop@yunmaster1 ~]$ start-dfs.sh yunmaster1: /home/hadoop/apps/hadoop-2.7.6/sbin/hadoop-daemon.sh: line 131: 22401 Killed nohup nice -n $HADOOP_NICENESS $hdfsScript --config $HADOOP_CONF_DIR $command "$@" &g
hadoop集群安装配置Kerberos（三）：hadoop集群配置 kerberos 认证
changlina_1989的博客
01-01 9228
hadoop集群配置kerberos
Namenode恢复
奔跑的羚羊
02-12 274
Namenode恢复 1.修改[b]conf/core-site.xml[/b],增加 [code="xml"] fs.checkpoint.period 3600 The number of seconds between two periodic checkpo...
解决Hadoop伪分布式下，namenode无法启动的问题
shen_xy的博客
11-22 2820
启动Hadoop时，出现无法启动namenode的情况，查看日志后提示如下错误： Error: Gap in transactions. Expected to be able to read up until at least txid 6175405 but unable to find any edit logs containing txid 6175405 java.io.IOExce...
Hadoop HDFS namenode故障恢复
大数据流浪法师的学习笔记与分享
11-06 808
SecondaryNamenode对Namenode当中的Fsimage和Edits进行合并时，每次都会先将Namenode的Fsimage与Edits文件拷贝一份过来，所以fsimage与edits文件在secondarNamendoe当中也会保存有一份，如果namenode的fsimage与edits文件损坏，那么我们可以将secondaryNamenode当中的fsimage与edits拷贝...
Hadoop namenode 数据恢复
qq_21153619的博客
08-23 1206
hdfs的namenode元数据是存储在硬盘上的，但是断电可能会造成元数据丢失，发生数据丢失以后，可以采取以下方法对数据进行恢复。   先format namenode： hadoop namenode –format 然后把SNameNode上的${SecondaryNameNode Checkpoint directories}路径下所有文件远程拷贝到NameNode的${NameNode...
Hadoop Namenode恢复
最新发布
09-02
三、重启 Hadoop 并检查 namenode 的启动情况 在修改完配置文件后，需要重启 Hadoop，检查 namenode 是否启动成功。可以使用 jps 命令查看 namenode 的进程。 四、恢复 namenode 在 namenode 崩溃的情况下，需要...
hadoop NameNode 源码解析
06-05
Hadoop NameNode 源码解析 ...本文对 Hadoop NameNode 的源码进行了深入分析，了解了其启动过程、配置加载、RPC 服务端创建、 Namenode 对象初始化等关键步骤，为读者提供了一个详细的 Hadoop NameNode 源码解析。
Hadoop中namenode和secondarynamenode工作机制讲解
09-30
但由于namenode是单点故障，一旦namenode出现问题，整个HDFS将无法正常工作。因此，为了解决这个问题，引入了secondarynamenode。 secondarynamenode并非namenode的热备份，它不会直接处理客户端的请求，其主要功能...
Hadoop HA集群启动.docx
08-23
在Active和Standby节点上启动NameNode，使用`hadoop-daemon.sh start namenode`命令。启动后，Active NameNode将开始处理客户端请求，而Standby NameNode将监视Active的状态。 6. **设置 fencing**： 为了防止双...
Hadoop datanode启动失败：Hadoop安装目录权限的问题
07-29
这一问题通常表现为，在尝试启动Hadoop集群时，Datanode无法正常启动，并且在访问NameNode的Web界面时发现缺少Datanode的相关信息。这种情况会严重影响Hadoop集群的可用性和数据处理能力。 #### 二、原因分析 根据...
hadoop namenode 数据恢复
懒散狂徒的专栏
07-02 2845
在一次hadoop的重启过程中，重启失效，只能杀掉hadoop的namenode进程。 再重启的时候，出现如下问题： 2012-05-18 15:17:35,313 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NullPointerException at org.apache.hadoop.hdfs
hadoop启动namenode失败异常，求解决方法，小弟不胜感激！！！
成就源于知识，知识在于积累。
03-11 3616
问题描述：前面集群都是正常，今天向hadoop-env.sh中添加hbase环境变量后，启动namenode就出现该错误！
Hadoop集群启动NameNode错误 JAVA.IO.IOEXCEPTION: NAMENODE IS NOT FORMATTED
fa124607857的博客
05-21 2753
JAVA.IO.IOEXCEPTION: NAMENODE IS NOT FORMATTED. 新创建的HADOOP集群启动时报错NAMENODE没有启动成功 出现的错误: 出错的原因: hadoop集群创建完成之后 namenode没有进行初始化 解决方法 以下均是在主节点操作 我的hadoop安装目录是 : /export/install/hadoop-2.6.0-cdh5.14.0/ 1.先关闭hadoop集群 /hadoop的安装目录/sbin/stop-all.sh 示例:.
NameNode Recovery Tools for the Hadoop Distributed
chuanjiaoye5017的博客
07-02 382
Most system administrators have had to deal with a bad hard disk at some point. One moment, the hard disk is a mechanical marvel; the next, it is...
hadoop fsck命令及namenode元数据修复.
ForestCat的专栏
08-10 1467
报错如下: FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: recoverUnfinalizedSegments failed for required journal (JournalAndStream(mgr=QJM to [192.168.76.201:8485, 192.168.76.202:8485, 192.168.76.203:8485], stream=null)) java.lang.AssertionEr.
Recover Hadoop NameNode Failure
Mrknowledge
04-15 1155
In production, you should run the NameNodes in HA mode with a quorum of journalling nodes, or a shared HA-NFS storage for the edit log transaction files. If you do not want or use HA, you need to
已解决：Hadoop启动HDFS时，丢失Namenode/Datanode。
chensay的博客
03-25 1143
已解决：Hadoop启动HDFS时，丢失namenode进程。 There appears to be a gap in the edit log. We expected txid 1, but got txid 102. [root@chensy logs]# hadoop namenode -recover #也许是namenode数据元丢失 DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead
关于hadoop无法启动namenode的问题解决方法之一
weixin_42036645的博客
11-24 6327
关于hadoop无法启动namenode报错：java.io.IOException: Gap in transactions. Expected to be able to read up until at least txid 1365 but unable to find any edit logs containing txid 1的问题 问题： 今天在正常使用start-all.sh启动...
hadoop无法启动namenode
06-06
可能的原因包括： 1. 配置文件错误：检查hadoop配置文件中namenode的配置是否正确。 2. 硬件问题：检查硬件是否正常，例如磁盘是否可用，内存是否足够。 3. 权限问题：检查是否有足够的权限来启动namenode。 4. 端口冲突：检查是否有其他进程正在使用namenode需要的端口。 5. 日志文件：查看hadoop日志文件，了解具体的错误信息。 需要更具体的信息才能确定问题的原因和解决方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值