启动hadoop集群全部服务时没有datanode服务

最新推荐文章于 2024-10-16 17:34:25 发布
最新推荐文章于 2024-10-16 17:34:25 发布
阅读量1.8k 收藏 11
点赞数 5
文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/APguantou/article/details/129961412
版权
在启动Hadoop集群时，发现DataNode服务缺失。分析可能是由于主节点格式化次数过多导致。解决方案包括编辑core-site.xml，删除dfs目录，重新格式化NameNode，然后尝试再次启动所有服务。
摘要由CSDN通过智能技术生成

今天在启动hadoop集群时，开启全部服务后，用jps检测，发现没有datanode服务

如图所示，开启时datanode可以正常开启，其它服务都正常，唯独没有datanode，关闭时显示

localhost: no datanode to stop

可能的原因是hadoop主节点格式化次数过多

下面给出我的解决方案：

 1.编辑hadoop目录下的/etc/hadoop/core-site.xml

vi /sofftware/hadoop/hadoopducument/HADOOP/etc/hadoop/core-site.xml

 我在安装时将hadoop安装在 /software/hadoop/hadoopducument/ 下 ，并将安装包改名为HADOOP

2.切换至上述查找到的路径中,并查看该目录下的内容

cd /software/hadooop/hadoopducument

删除dfs目录

rm -rf dfs

3.主节点格式化

hadoop namenode -format

4.再次尝试启动服务

start-all.sh

APguantou
关注
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 9586
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
关于我第二次遇到Hadoop启动集群子节点没有DataNode节点问题
m0_58676712的博客
07-21 3366
找一下HDFS的配置文件,我的在$HADOOP_HOME/etc/hadoop文件夹下，查看你的dfs.name.dir 和 dfs.data.dir 下的内容，也就是保存的路径在哪里，然后删掉文件夹下的data和name文件夹，重新启动集群。
Hadoop集群启动时没有Datanode
evangelion_Asuka的博客
10-12 3057
在启动集群后，使用jsp命令验证集群是否配置成功时，发现Datanode没有被启动，第一反应是关闭后使用。回到dfs文件夹，进入到data文件夹中的current文件夹，使用cat查看VERSION文件。我们应将DataNode的clusterID改成NameNode的clusterID。start-all.sh命令再次启动，依旧没有，于是检查配置文件依旧没发现问题。先进入name文件夹，然后使用cat查看VERSION文件。将这里面的也复制下来与name文件夹中的对比。将两个ID进行对比发现确实不一样。
Hadoop集群启动从节点没有DataNode
m0_61232019的博客
03-03 8263
之前启动hadoop集群的时候都没有问题，今天启动hadoop集群的时候，从节点的DataNode没有启动起来。
启动Hadoop没有dataNode进程的解决办法
m0_67394002的博客
04-11 3999
1.问题现象: 在启动Hadoop时，通过jps目录发现没有datanode进程。 [root@hadoop ~]# jps 1792 SecondaryNameNode 1937 Jps 1650 DataNode 2 解决方案:clusterID不匹配导致的问题 网上搜了下，网上的说法都是由于进行hadoop格式化的时候没有事先结束所有进程，或者多次进行了format导致的datanode的clusterID 和 namenode的clusterID不匹配，从而在启动后没有datanode进程。 解决
启动Hadoop集群时没有启动datenode怎么解决？
G55331337547的博客
11-09 3830
我在用hadoop namenode -format 将主节点的NameNode进行格式化，并且用start-all.sh 启动集群后，发现datanode节点并没有启动，导致我在进行文件操作时报错。
解决启动hadoop集群时用jps查看datanode已经启动，但是在webui，x.x.x.x:50070上查看不到datanode的问题
Yiie 的博客
08-26 5822
解决启动hadoop集群时用jps查看datanode已经启动，但是在webui，x.x.x.x:50070上查看不到datanode的问题 用jps查看此时datanode已经启动 [root@hadoop02 name]# jps 12858 DataNode 12987 NodeManager 13196 Jps 此时进入x.x.x.x:50070查看节点情况，只有01和03启动，02没有...
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
Hadoop集群启动后没有Datanode解决方法
qq_42321843的博客
03-10 2796
1.关闭集群 stop-dfs.sh stop-yarn.sh 2.将集群中每个datanode节点的VERSION删除 （VERSION里面记录着datanodeid信息 路径/hadoop/tmp/dfs/data/current） cd /usr/local/hadoop/tmp/dfs/data/current/ ls rm -f VERSION 3.执行hdfs namenode -fo...
hadoop集群启动后datanode没有启动
m0_51697147的博客
11-20 7002
解决方法： 第一步：关掉所有启动的集群 在hadoop3.1.3目录下，输入命令sbin/stop-all.sh 第二步：删除每个集群中datanode存放路径的数据,data 和logs 输入命令：rm -rf data/ logs/ 第三步：重新格式化 输入命令：hadoop namenode -format 第四步：启动集群 在hadoop3.1.3目录下，输入命令sbin/start-all.sh 第五步：查看进程 输入命令：jps
hadoop集群启动唯独缺少DataNode进程的解决方法
2202_75961842的博客
05-13 2175
我们可以找到datanode的资料，VERSION文件，然后把所有用到datanode进程的节点上面的VERSION都删除，再在主机上重新进行格式化，再次使用。因为各种原因导致需要快照或重新配置，进入到最后一步格式化过后，开启集群发现主机进程一切正常，从节点其他进程也都有，唯独Datanode进程没有的情况。，datanode进程就可以出来了。可能是因为两次甚至多次的。然后重启Hadoop。
启动hadoop集群没有datanode节点
热门推荐
qq_58538016的博客
04-05 1万+
使用start-dfs.sh启动hdfs后只有namenode，没有datanode。 原因：配置集群式进行了多次格式化，导致两者的id不一致，所以启动namenode是没有启动datanode。 解决办法：可以在VMware李自己找，但在xftp里面寻找更为简便。 1：找到你的hadoop下data/tmp/dfs，里面有name和data两个文件。 2：进入name，在current里有一个version的文件，记事本打开，复制id， 3：再进入到data下的current的ve.
hadoop报错：Hadoop启动时，没有启动datanode
five小点心的博客
02-06 5466
hadoop启动时没有DataNode节点
hadoop起动后没有datanode的问题
GXU-数据与无线网络实验室-杨宁
10-06 3185
查看日志后发现：java.io.IOException: Incompatible clusterIDs in /home/storm/hadoop/dfs/data: namenode clusterID = CID-bee17bb7-308b-4e4d-b059-3c73519a9d0e; datanode clusterID = CID-7fca37f0-a600-4e89-a012-aec2
启动 Hadoop 后没有 dataNode 进程
是微风，是晚霞，是无可替代
11-22 3748
原因：进行 hadoop 格式化的时候没有事先结束所有进程，或者多次进行了 format 导致的 datanode 的 clusterID 和 namenode 的 clusterID 不匹配，从而在启动后没有 datanode 进程。
Hadoop运行jps后没有datanode进程
m0_55070913的博客
03-25 3325
我总共有3个hadoop集群，hadoop102，hadoop103，hadoop104，其中hdfs从hadoop102启动。 集群规划如下： jps没有datenode： 1、停止所有jps服务（以下命令在hadoop2这台服务器上执行）。 $jps #如果只有Jps进程，则无需执行下面的代码，否则执行。 $cd /opt/module/hadoop-2.7.2/ $sbin/stop-all.sh 2、删除VERSION（以下命令在三台服务器上都执行）。 VERSION的目录所在如下所示，首先进入
Hadoop启动后没有datanode的问题
qq_45930996的博客
02-21 2169
****安装好zookeeper和高可用后，再次启动没有datanode节点 参考：https://blog.csdn.net/Islotus/article/details/78357857?utm_source=distribute.pc_relevant.none-task https://blog.csdn.net/boling_cavalry/article/details/102764...
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 6329
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
解决Hadoop启动时，没有datanode
最新发布
weixin_71351015的博客
10-16 724
当我们格式化namenode时，会保存一个/opt/module/hadoop/data/dfs/data/current/VERSION文件，记录clusterID,datanode中保存的current/VERSION文件是上一次格式化保存的clusterID，clusterID不一致。vim /opt/module/hadoop/data/dfs/data/current/VERSION文件，将其中的clusterID的值替换成刚刚复制的clusterID。运行命令：jps，没有datanode。
hadoop集群启动没有datanode
05-13
如果你的Hadoop集群启动时没有DataNode，则可能有以下几个原因： 1. DataNode守护进程没有启动 - 请检查DataNode守护进程是否已启动。可以通过在DataNode主机上运行以下命令来检查DataNode守护进程是否正在运行： ``` jps ``` 如果DataNode守护进程没有运行，请使用以下命令启动它： ``` $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode ``` 2. 防火墙阻止了DataNode连接 - 如果DataNode无法连接到NameNode，则可能是由于防火墙设置阻止了它们之间的通信。你需要检查防火墙设置，确保它允许DataNode与NameNode通信。 3. 节点配置不正确 - 如果DataNode配置不正确，则可能会导致它无法连接到NameNode。你需要检查DataNode配置文件中的以下属性是否正确： ``` fs.default.name dfs.datanode.name.dir dfs.replication ``` 如果这些属性设置不正确，则需要进行相应的更改。 请检查以上原因是否存在，并尝试解决问题。如果问题仍然存在，请提供更多详细信息以便更好地帮助你解决问题。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值