关于hadoop无法启动namenode的问题

最新推荐文章于 2022-07-25 20:28:33 发布
最新推荐文章于 2022-07-25 20:28:33 发布
阅读量1.9k 收藏
点赞数 1
分类专栏： Linux hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42385284/article/details/88960678
版权
hadoop 同时被 3 个专栏收录
7 篇文章 0 订阅
订阅专栏
Linux
5 篇文章 0 订阅
订阅专栏
大数据
3 篇文章 0 订阅
订阅专栏

关于hadoop无法启动namenode的问题


今天在启动hadoop时发现所有服务都可以启动，唯独NameNode节点启动不来.
查看log日志后发现启动报如下错误
java.io.IOException: Gap in transactions. Expected to be able to read up until at least txid 1365 but unable to find any edit logs containing txid 1
根据查到的资料使用hadoop namenode -recover
在一堆提示后选择yes 然后选择C .
然而在这个过程中报错了
java.lang.IllegalStateException: Cannot skip to less than the current value (=19823), where newValue=16385
我试着重启了一下NameNode 果然问题还是没有解决

最后只好使用hdfs namenode -format重新格式化了一下NameNode
这次再执行hadoop namenode -recover没有报错
然后再清空DataNode下的数据,也就是清空dfs.data.dir参数配置的目录,如果不清空该目录数据 DataNode启动会出现问题
执行sbin/start-dfs.sh后jps查看NameNode启动成功

_哲
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop大数据期末考试重点
06-16
Hadoop大数据期末考试重点，选择、判断、简答
hadoop安装过程中的问题
09-15
1.slaves用户名一致，即需要相同的用户。（这是Hadoop的基础） 2.必须ssh无密码登录 3./etc/host 里配置 master和slaves 4.修改/etc/hostname 主机名 5、/etc/profile的java和Hadoop配置路径 6.hadoop namenode format 7./hadoop/etc/slaves这个文件里必须把所有的slaves的主机名写进去。 8.mast的/etc/hosts slave1的/etc/hosts slave2 的/etc/hosts （localhost： 127.0.0.1可以去掉，只写主机名对应的IP地址）如下 1）以下是master的hosts 2）以下是slave1的hosts 3）以下是slave2的hosts Slave启动不起来解决过程如下： 1.环境变了，hadoop没变： Hadoop/etc/hadoop/slaves 的IP地址要变。 5个重要的配置文件逐个检查，IP地址需要变 2.配置文件确认无错误，看日志： 从logs日志中寻找slave的namenode为什么没有起来。 3.最后发现是hdfs中存在上次的数据，删掉即可。： 安装ssh和解决jdk找不到path问腿
namenode启动失败参考
05-16
未知原因导致namenode 的fsimage等文件丢失，namenode重启失败的参考解决
jadehadoophdfs:与HADOOP的namenode通信的JADE代理
05-28
翡翠 与HADOOP的namenode通信的JADE代理 为了使用此代码，需要满足几个要求： 配置并运行Hadoop集群 配置和构建的JADE环境 配置的log4j环境 接下来，在compilestart.sh脚本中进行适当的更改。 指定jade主目录的路径，*。java类所在的路径。此外，指定Hadoop主目录及其core-site.xml文件的位置。 要运行JADE平台，请运行脚本compilestart.sh 代理通信如下。 HDFS代理（HDFSWriterAgent）需要首先启动。 它已经在JADE平台旁边的compilestart.sh脚本中启动。 在启动发送方代理（SenderAgent）之前，最好等待来自代理的消息，说明文件系统已配置。 可以从JADE GUI启动发件人代理，启动代理所需的参数应采用：或;格式，其中，它是需要复制的文件的路径，并且是HDFS路径。 执行
【大数据】Hadoop常用启动命令.pdf
12-24
【⼤数据】 【⼤数据】Hadoop常⽤启动命令 常⽤启动命令 Hadoop常⽤启停命令 常⽤启停命令 　　最近在装⼤数据环境，不知由于年纪⼤的问题还是笨的缘故，⽼师记不住⼀些常⽤命令，在这⾥就单独记⼀下Hadoop常⽤的启停命 令。Hadoop常⽤的启停命令都在hadoop/sbin/ ⽬录中，可以将这个⽬录添加到环境变量中，后⾯就可以直接在任意路径下运⾏启停命令。 下⾯就具体说说这些命令： start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停⽌所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode stop-dfs.sh 停⽌Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode hadoop-daemons.sh start namenode 单独启动NameNode守护进程 hadoop-daemons.sh stop namenode 单独停⽌NameNode守护进程 hadoop-daemons.sh start datanode 单独启动DataNode守护进程 hadoop-daemons.sh stop datanode 单独停⽌DataNode守护进程 hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程 hadoop-daemons.sh stop secondarynamenode 单独停⽌SecondaryNameNode守护进程 start-mapred.sh 启动Hadoop MapReduce守护进程JobTracker和TaskTracker stop-mapred.sh 停⽌Hadoop MapReduce守护进程JobTracker和TaskTracker hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程 hadoop-daemons.sh stop jobtracker 单独停⽌JobTracker守护进程 hadoop-daemons.sh start tasktracker 单独启动TaskTracker守护进程 hadoop-daemons.sh stop tasktracker 单独启动TaskTracker守护进程 如果Hadoop集群是第⼀次启动，可以⽤start-all.sh。⽐较常⽤的启动⽅式是⼀个⼀个守护进程来启动，启动的步骤如下。 1．启动Hadoop的HDFS模块⾥的守护进程，HDFS⾥⾯的守护进程启动也有顺序，即： 1）启动NameNode守护进程； 2）启动DataNode守护进程； 3）启动SecondaryNameNode守护进程。 2.启动MapReduce模块⾥⾯的守护进程，Mapreduce的守护进程启动也有顺序： 1）启动JobTracer守护进程 2）启动TaskTracer守护进程 关闭时，顺序相反
hadoop集群安装配置Kerberos（三）：hadoop集群配置 kerberos 认证
changlina_1989的博客
01-01 8667
hadoop集群配置kerberos
关于hadoop无法启动namenode的问题解决方法之一
weixin_42036645的博客
11-24 6187
关于hadoop无法启动namenode报错：java.io.IOException: Gap in transactions. Expected to be able to read up until at least txid 1365 but unable to find any edit logs containing txid 1的问题 问题： 今天在正常使用start-all.sh启动...
解决Hadoop伪分布式下，namenode无法启动的问题
shen_xy的博客
11-22 2749
启动Hadoop时，出现无法启动namenode的情况，查看日志后提示如下错误： Error: Gap in transactions. Expected to be able to read up until at least txid 6175405 but unable to find any edit logs containing txid 6175405 java.io.IOExce...
【HDFS】问题汇总（持续更新）
lin86182824的博客
07-29 253
1、
cdh异常
DCHAO的博客
07-25 461
cdh异常
Redis源码分析
枫
02-25 612
1.Redis关键配置文件 redis.conf：该配置文件为redis的主要配置文件，可以在当前的配置文件中通过include包含多个子配置文件。
The Query Optimizer
czmmiao的专栏
06-30 321
The Query Optimizer This chapter discusses SQL processing, optimization methods, and how the query optimizer (usually called the optimizer) chooses a specific plan to execute SQL. The chapter cont...
SQL*Loader Messages 报错
luobotoutou123的博客
11-12 3737
SQL*Loader Messages This chapter lists messages you might see when using SQL*Loader. SQL*Loader messages take the form: SQL*Loader-code number: message text Along with its own messages, SQL*Loader sometimes displays related messages issued by the
Error Messages（OGG-02045 to OGG-02562）
viviliving的专栏
11-12 6752
OGG-02045: Database does not have streams_pool_size initialization parameter configured. Cause: The database initialization parameter streams_pool_size is not set correctly to support integrated captu...
Hadoop namenode 数据恢复
qq_21153619的博客
08-23 1165
hdfs的namenode元数据是存储在硬盘上的，但是断电可能会造成元数据丢失，发生数据丢失以后，可以采取以下方法对数据进行恢复。   先format namenode： hadoop namenode –format 然后把SNameNode上的${SecondaryNameNode Checkpoint directories}路径下所有文件远程拷贝到NameNode的${NameNode...
hadoop fsck命令及namenode元数据修复.
ForestCat的专栏
08-10 1386
报错如下: FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: recoverUnfinalizedSegments failed for required journal (JournalAndStream(mgr=QJM to [192.168.76.201:8485, 192.168.76.202:8485, 192.168.76.203:8485], stream=null)) java.lang.AssertionEr.
Hadoop HDFS namenode故障恢复
大数据流浪法师的学习笔记与分享
11-06 777
SecondaryNamenode对Namenode当中的Fsimage和Edits进行合并时，每次都会先将Namenode的Fsimage与Edits文件拷贝一份过来，所以fsimage与edits文件在secondarNamendoe当中也会保存有一份，如果namenode的fsimage与edits文件损坏，那么我们可以将secondaryNamenode当中的fsimage与edits拷贝...
hadoop报错：Failed to start namenode. java.lang.IllegalArgumentException URI has an authority component
RaySunWHUT
12-20 2981
Question： hadoop报错，Failed to start namenode java.lang.IllegalArgumentException URI has an authority component 首先，按http://dblab.xmu.edu.cn/blog/1177-2/ 来搭建Hadoop集群一般不会出现问题； 但今天在开启集群的时候，却发现Master结点缺少nam...
hadoop启动namenode失败异常，求解决方法，小弟不胜感激！！！
成就源于知识，知识在于积累。
03-11 3589
问题描述：前面集群都是正常，今天向hadoop-env.sh中添加hbase环境变量后，启动namenode就出现该错误！
hadoop无法启动namenode
最新发布
06-06
可能的原因包括： 1. 配置文件错误：检查hadoop配置文件中namenode的配置是否正确。 2. 硬件问题：检查硬件是否正常，例如磁盘是否可用，内存是否足够。 3. 权限问题：检查是否有足够的权限来启动namenode。 4. 端口冲突：检查是否有其他进程正在使用namenode需要的端口。 5. 日志文件：查看hadoop日志文件，了解具体的错误信息。 需要更具体的信息才能确定问题的原因和解决方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值