群起集群 DataNode 没有启动的解决方法

已于 2022-07-08 12:00:01 修改
阅读量2.5k 收藏 33
点赞数 2
文章标签： hadoop hdfs 大数据 centos 分布式
于 2022-07-08 11:59:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45942827/article/details/125675004
版权

错误

启动服务，发现没有DataNode没有启动
在这里插入图片描述
此原因是namenode和datanode的clusterID不一致导致datanode无法启动.

产生的原因

是多次hdfs namenode -format而造成的 , 每一次格式化，namenode都会生成新的clusterID , 而datanode还是保持原来的clusterID.

解决办法

  1. 关闭集群 stop-all.sh 必须关闭，切记，勿忘。

  2. 找到namenode的元数据存储目录并进入查看VERSION ，复制clusterID中的内容，元数据存储目录可以查看自己配置的hdfs-site.xml，我的目录在 /usr/local/hadoop/tmp/dfs/name/

    cd /usr/local/hadoop/tmp/dfs/name/current/
cat VERSION

    在这里插入图片描述

  3. 找到datanode的元数据存储目录并进入查看VERSION ，修改clusterID中的内容，使内容与namenode中的clusterID一致，元数据存储目录可以查看自己配置的hdfs-site.xml，我的目录在 /usr/local/hadoop/tmp/dfs/data/

    cd /usr/local/hadoop/tmp/dfs/data/current/
cat VERSION

    在这里插入图片描述

    vim VERSION  #修该内容

    修改后

  4. 重新启动 start-all.sh
    在这里插入图片描述

山乀
关注
datanode无法启动
Q48711的博客
07-31 474
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
hadoop集群启动后datanode和namenodemanager关闭问题解决
zhongxiayimeng的博客
04-11 5384
成功启动hadoop集群后，在matser机器上执行jps命令，可以看到： Jps ResourceManager NameNode SecondaryNameNode在slave节点上可以看到： DataNode Jps NodeManager但是有时候，在集群启动一段时间后，slave上的datanode和弄得manager会消失。解决办法如下：1.首先检车自己的配置文件是不是正确，我
Datanode无法启动
weixin_44704605的博客
11-18 406
1）现象： #jps 看不到DataNode （2）可能原因： datanode的clusterID 和 namenode的clusterID 不匹配。 （3）解决办法： 找到data和name配置的dir路径，找到hdfs-site.xml文件（cd hadoop-2.6.5/etc/hadoop/） <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- P
执行start-dfs.sh后，datenode没有启动的最全解决办法（全网最全）
最新发布
qq_51431069的博客
08-13 654
在Hadoop中申请一个Flink的Session会话的时候出现了报错报错内容看到说没有找到datanode,然后我就去检查了一下进程，发现确实没有看到datanode，在使用start-dfs.sh的时候，datanode没有启动。
Hadoop中DataNode没有启动解决办法
optics's blog
11-22 2万+
查看从节点机器hadoop中datanode的log文件 , 拉到最后 , 报错如下2017-11-22 13:51:17,114 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /home/grid/hadoop-2.7.2/dfs/data: na
解决Hadoop启动时，没有启动datanode
热门推荐
Islotus
10-26 4万+
原文链接: http://www.nekomiao.me/2016/08/10/hadoop-without-datanode/ Hadoop在多次运行下列指令： hadoop namenode -formatsbin/start-dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps
Hbase集群搭建以及启动（单点启动，群起）
Sun's Blog
11-23 1701
文章目录HBase是什么HBase支持随机写HBase支持海量数据的实时读写HBase的安装和配置（重点）1.配置2.启动（重点）单点启动群起和群停集群同步 HBase是什么 HBase是基于hadoop的数据库！ HBase支持随机写 HBase的读写操作还是借助HDFS完成，要完成随机写，根本上还是需要复合HDFS的特性！ HDFS只支持追加写！ 随机的操作： Update+Delete 借助 追加写+时间戳(版本号) 只允许客户端查询时返回时间戳最新的数据！ HBase支持海
hadoop从机datanode 启动失败，日志错误：java.io.IOException: Incompatible clusterIDs，Initialization failed for Bl
weixin_42760864的博客
06-20 728
当群起Hadoop集群时候，发现两台从机的datanode启动都是失败的状态，查看日志发现，错误信息是： 2019-06-20 09:53:12,874 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool (Datanode Uuid unassigned) service to hadoop102/192.168.3...
记录一下hadoop集群启动后，jps查看无namenode的解决办法
weixin_43329173的博客
08-19 3118
1、百度之前，我先到hadoop的logs目录下看了今天的日志， 首先百度了一番，基本上都是namenode format，但真的不想重做一遍数据，不死心的继续寻找。。。 找到了这个解答 https://my.oschina.net/dreamness/blog/3083130 啥意思啊？不懂。 ...
hadoop--集群配置/群起集群
FunnyPrince_的博客
06-13 733
集群配置 1.集群部署规划： tips： NameNode和SecondaryNameNode不要安装在同一台服务器； ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上； 2.配置文件说明： Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。 1). 默认配置文件： 2). 自定义配置文件： core-site.xml、hdfs-site.xml、
DataNode无法启动
big_data_study的博客
08-13 1742
##关于hadoop集群中第二次启动时，DataNode没有启动的解决办法 ##第一次启动时没有问题 第二次启动时会有文件残留 产生一个新的namenode文件（id），就不认识以前的namenode了 导致集群不能正常启动 解决办法：在格式化之前，删除datanode里面的信息（默认在/tmp，如果配置该目录，就要去配置的目录下删除（hadoop-2.6.5/data/tmp/）） ##rm -...
DataNode无法启动解决
菜鸟的专栏
05-10 751
重新格式化了namenode发现DataNode不能启动了，原因是namenode 的clusterID与datanode的clusterID不一致造成，把datanode的cluserID改成NameNode的（注意在对应的机器下去找）
hadoop datanode无法启动
help_child的博客
02-05 2076
datanode无法启动报错问题及解决方法
hadoop中datanode无法启动
xiaogezhuifengren的专栏
06-05 7247
多日无暇学习使用Hadoop了，今天在练习安装使用Hive的时候发现文件无法从本地拷贝到hadoop集群系统，老是报错，错误内容为： java.io.IOException: File  … could only be replicated to 0 nodes, instead of 1。查找namenode的日志，也是报这个错，而且非常多，即便在启动的时候也是报类似的错误。这个学习环境为
DataNode无法启动的原因
说文科技，做有态度的研究。
05-06 7371
DataNode无法启动的原因 1.可能的原因有如下几个： 1.多次执行./hadoop namenode -format命令，导致出错。 解决办法：到安装hadoop目录下，：例如笔者的目录是：/usr/local/hadoop-2.6.4/etc/hadoop。查看core-site中的如下配置： &lt;property&gt; &lt;name&gt;hadoop...
Hadoop启动时，没有启动DataNode
皮埃尔的博客
05-08 5644
Hadoop启动时，没有启动DataNode1、起缘2、原因3、解决办法3.1 删除 dfs 文件夹（dfs文件夹中没有重要的数据）3.2 复制 clusterID（dfs文件夹中有着重要的数据）4、总结 1、起缘 有时候Hadoop没关闭就格式化NameNode，经常会出现没有启动 DataNode 的情况 2、原因 当我们使用 hadoop namenode -format 格式化 NameNode 时，会在 NameNode 数据文件夹（这个文件夹为自己配置文件中 dfs.name.dir 的路径）
hadoop集群datanode未启动
03-17
可能原因有： 1. datanode进程未启动 2. datanode与namenode连接问题 3. datanode磁盘空间不足 4. datanode配置文件错误 5. 其他网络问题 建议检查日志文件，以确定问题所在并进行解决。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值