关于多次格式化后启动Hadoop后主节点或从主点没有DataNode的问题

已于 2022-03-23 16:46:36 修改
阅读量3.7k 收藏 12
点赞数 3
分类专栏： 笔记
于 2022-03-23 16:35:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45871142/article/details/123689220
版权

1,找到你配置的hdfs-size.xml文件
如图
在这里插入图片描述
然后打开
cd /usr/local/hadoop-3.2.0/data/name

gedit /current/VERSION

找到
我的是
clusterID=CID-4eb876d0-d4c6-4ccd-8f93-b39c6645108d
这个id然后复制你自己这一段（这个会有差异）

然后再返回

再进入
cd /usr/local/hadoop-3.2.0/data/data/current

gedit VERSION
把复制的id

替换原来的

然后报存退出

然后
cd /usr/local/hadoop-3.2.0/data/data/current
source VERSION

再重新启动Hadoop集群，切换到hadoop目录下
sbin/start-all.sh

CoralSea.
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
解决hadoop格式化namenode两次导致datanode不能正常启动问题
weixin_46964107的博客
03-30 4083
解决hadoop格式化namenode两次导致datanode不能正常启动问题：删除tmp文件夹并重新格式化即可
hadoop 格式化后没有datanode节点
mr_liM的博客
07-13 3424
hadoop在子节点上没有datanode进程 经常会有这样的事情发生：在主节点上start-all.sh后，子节点有TaskTracker进程，而没有DataNode进程。 环境：1NameNode   2DataNode三台机器，Hadoop为1.2.1 解决办法： 1.先停止Hadoop，bin/stop-all.sh 2.三台机器都把hadoop1.2.1/tmp下所有文件删除
hadoop集群搭建，主节点没有DataNode进程
huting1990的博客
11-30 2402
hadoop集群搭建，主节点没有DataNode进程的原因记录 在设置 主节点服务器的 /etc/hosts 不小心把 127.0.0.1 localhost.localdomain localhost 127.0.0.1 localhost4.localdomain4 localhost4 这两行全删掉了，导致DataNode启动报错： HttpServer.start() threw a non Bind IOException java.net.BindException: Port in use:
hadoop多次（两次以上）初始化以后，无法启动DataNode节点（已解决）
weixin_44146604的博客
05-08 5446
1、问题描述： 多次格式化文件系统时，会出现datanode无法启动 2、问题产生原因： 执行文件系统格式化时（即执行命令$ bin/hadoop namenode -format 后），会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个hadoopData/name（我的路径配置在core-cite.xml中）文件，记录namespaceID，标识了所格式化的namenode的版本。如果我们频繁的格式化namenode，那么datan...
hadoop 多次格式化format namenode 导致节点不能启动解决
热门推荐
qq_41059374的博客
06-14 2万+
1.  具体配置     我用的是vmware配的虚拟机，一个master，2个slave2. 遇到的问题hadoop 多次格式化format namenode 导致节点不能启动，出现这个问题的原因是多次格式化会导致节点的clusterID不一致3. 解决方法    我是参考的stackoverflow的方法，有一些不同           https://stackoverflow.com/qu...
出错记录：hadoop 主节点没有datanode，spark报错：There are 0 datanode(s) running and 1
qq_43551883的博客
10-14 736
大数据课实验1的踩坑记录
启动Hadoop后 没有DataNode进程 的解决方法
最新发布
09-30
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解！
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
hadoop重新格式化HDFS步骤解析
09-30
主要介绍了hadoop重新格式化HDFS步骤解析，由于此方法需要将HDFS中数据全部清除，用者需注意。
hadoop在阿里云上主节点没有datanode进程
铁血军的小博客
05-23 640
问题描述 用三台服务器组成了一个hadoop集群。我暂且简单的记作master,slave1,salve2。 配置和初始化都没有任何问题。在最后用行start-dfs.sh （后来用start-all.sh启动）命令，发现slave1和slave2上都有datanode进程，但唯独master上没有datanode进程，甚至logs下都没有datanode的日志。 依据离谱加挖槽。 解决办法 试了很多很多种办法，更新了所有的配置文件，发现只要再单独的启动一下datanode就行了。。。。。 hadoop-
Hadoop伪分布式环境datanode进程没有
疯子的博客
10-25 2405
摘要 jps查看当前进程，发现缺少了DateNode进程 这个一般是因为namenode进行了多次的格式化，导致namenode的clusterID和datanode的clusterID不同。 解决办法 让这两个一样呗 步骤 1.进入etc/hadoop目录下打开core-site.xml,查看你的文件所在的目录 2.关闭当前的hadoop； $HADOOP_HOME/sbin/stop-al...
hadoop多次格式化后，导致的问题
cl723401的博客
09-29 9083
1.hadoop namenode多次格式化可能导致的问题    1.1 各个单独结点可以起来（jps有进程提示）但是用hdfs dfsadmin -report去查各项结果都为0。    1.2使用start-dfs.sh只启动了namenode没有启动datanode，且-report的结果也全0 遇到这个问题我开始怎么也解决不了，只好从头重新安装配置了一次lunix和hadoop，成功...
搭建hadoop集群初次格式化namenode时不小心格式化了多次，主节点namenode或者从节点datanode进程不能启动，怎么办？
qq_58281481的博客
09-21 6960
我们在格式化时hadoop集群时，不小心格式化多次，就会导致主从节点之间互相不识别。然后导致启动hadoop集群时，主节点的namenode进程可能不会启动或者从节点的datanode可能不会启动。
解决Hadoop集群中（主，从）节点上无datanode的问题
wxc1207的博客
03-12 8034
1.关闭集群 stop-all.sh 2.删除日志和临时文件 进入hadoop的根目录 删除logs和tmp rm -rf logs rm -rf tmp 建立logs和tmp mkdir logs mkdir tmp 6
启动集群之后没有datanode子节点进程，本来搭建好了，反复格式化之后，在slave子节点上jps查看进程发现没有datanode了，试过删除hadoop安装包里tmp文件夹中所有文件，还是不行
MUHUAAAAAA的博客
04-14 3129
hadoop环境搭建之namenode正常，datanode没启动
hadoop格式化namenode后，出现节点启动不全的情况-------解决方案
李子翔
05-22 2407
这里主要处理的异常情况是：namenode,datanode,或者其他节点在“启动服务”后没有显示的情况（实况是没有启动） 首先来分析一下出现这种状况的原因，这是很多新手都会犯的错误，原因也是多种多样的，在配置文件没有出错的情况下，最有可能是小伙伴们多次进行格式化了。 ***在这里说一下 ，在没有删除因格式化产生的文件前重新格式化是没有用的，hadoop不会覆盖重写已有文件！！！ *** 而namenode，datanode等启动不全的原因是因为底层文件version的配置信息clusterID不一样导致的
解决Hadoop中多次格式化导致DataNode无法启动的问题
qq_45814108的博客
09-12 1037
一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的NameNode的ID，因此就会造成NataNode与NameNode之间的id不一致 1.首先进入 hadoop 目录下的logs文件夹查看日志 cat hadoop/logs/hadoop-root-datanode-hadoop02.log (要根据你们的安装路径来) 出现以下报错信息，可以明显看到 namenode 和 datanode 的clusterID不一致 2.这时要记录下 namenode的 cluste
3台机器配置hadoop集群_Hadoop学习之路（三）Hadoop集群搭建和简单应用
weixin_39747807的博客
11-30 263
概念了解主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。主从结构分类：1、一主多从2、多主多从Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式：1、主节点　　从节点2、master　　slave3、管理者　　工作者4、leader　　followerHadoop集群中各个角色的名称...
请扮演一个命令终端， 修改Hadoop配置文件，路径在hadoop安装目录下的/etc/hadoop （1）修改core-site.xml配置文件，将fs.defaultFS属性值修改为hdfs://名称节点主机名:9000，并添加名称节点格式化时临时存放数据目录。 （2）修改hdfs-site.xml配置文件，添加dfs.namenode.secondary.http-address属性值修改为主机名:50090，主机名为前期规划为第二名称节点的主机名 （3）修改hdfs-site.xml配置文件，添加
06-07
好的，以下是修改Hadoop配置文件的指令： 1. 修改core-site.xml配置文件： ``` $ cd /etc/hadoop/ $ sudo nano core-site.xml ``` 在文件中找到以下属性： ``` <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> ``` 将value值修改为： ``` <property> <name>fs.defaultFS</name> <value>hdfs://名称节点主机名:9000</value> </property> ``` 在文件中添加以下属性： ``` <property> <name>hadoop.tmp.dir</name> <value>/tmp/hadoop-${user.name}</value> </property> ``` 保存并退出。 2. 修改hdfs-site.xml配置文件： ``` $ sudo nano hdfs-site.xml ``` 在文件中找到以下属性： ``` <property> <name>dfs.namenode.secondary.http-address</name> <value>0.0.0.0:50090</value> </property> ``` 将value值修改为： ``` <property> <name>dfs.namenode.secondary.http-address</name> <value>主机名:50090</value> </property> ``` 保存并退出。 3. 继续修改hdfs-site.xml配置文件： ``` $ sudo nano hdfs-site.xml ``` 在文件中添加以下属性： ``` <property> <name>dfs.namenode.name.dir</name> <value>/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/hadoop/hdfs/datanode</value> </property> ``` 保存并退出。 修改完成后，需要重启Hadoop服务以使配置文件生效。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值