hadoop启动集群后，没有datanode进程解决办法

最新推荐文章于 2024-09-30 00:15:51 发布
最新推荐文章于 2024-09-30 00:15:51 发布
阅读量372 收藏 2
点赞数 1
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ShengFangZaiXiaMo/article/details/138122156
版权
本文介绍了如何处理HDFS集群问题，包括停止服务（stop-all.sh,stop-dfs.sh），删除旧数据（rm-rf/data），格式化namenode（hdfsnamenode-format），重启集群（start-all.sh）以及检查DataNode状态。
摘要由CSDN通过智能技术生成

解决方法：

1、./stop-all.sh 或 ./stop-dfs.sh 要确保没有jps其它进程，如果有，kill -9 进程id

2、rm -rf /data

3、重新格式化 hdfs namenode -format

4、重新启动集群 ./start-all.sh 或 ./start-dfs.sh

5、查看是否有DataNode，jps

ShengFangZaiXiaMo
关注
CentOS6.9部署单机版Hadoop2.6.5，启动hadoop后jps查看发现没有DataNode？
Mr_JWYang
08-02 1336
启动Hadoop后使用jps查看如下 /usr/local/soft/hadoop-2.6.5/sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting namenodes on [localhost] localhost: starting namenode...
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 2907
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
hadoop启动后无datanode节点，log中datanode显示为privileged-root-datanode-master.out
最新发布
weixin_38383877的博客
09-30 224
解决方案：将hadoop-env.sh中的export HDFS_DATANODE_SECURE_USER=root这行删除。然后关闭集群，删除缓冲，重新格式化+开启集群即可。
启动Hadoop没有dataNode进程的解决办法
m0_67394002的博客
04-11 3979
1.问题现象: 在启动Hadoop时，通过jps目录发现没有datanode进程。 [root@hadoop ~]# jps 1792 SecondaryNameNode 1937 Jps 1650 DataNode 2 解决方案:clusterID不匹配导致的问题 网上搜了下，网上的说法都是由于进行hadoop格式化的时候没有事先结束所有进程，或者多次进行了format导致的datanode的clusterID 和 namenode的clusterID不匹配，从而在启动后没有datanode进程。 解决
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 6068
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
hadoop集群启动唯独缺少DataNode进程的解决方法
2202_75961842的博客
05-13 1789
我们可以找到datanode的资料，VERSION文件，然后把所有用到datanode进程的节点上面的VERSION都删除，再在主机上重新进行格式化，再次使用。因为各种原因导致需要快照或重新配置，进入到最后一步格式化过后，开启集群发现主机进程一切正常，从节点其他进程也都有，唯独Datanode进程没有的情况。，datanode进程就可以出来了。可能是因为两次甚至多次的。然后重启Hadoop。
启动 Hadoop 后没有 dataNode 进程
是微风，是晚霞，是无可替代
11-22 3631
原因：进行 hadoop 格式化的时候没有事先结束所有进程，或者多次进行了 format 导致的 datanode 的 clusterID 和 namenode 的 clusterID 不匹配，从而在启动后没有 datanode 进程。
虚拟机hadoop集群启动时DataNode进程缺失
Magicalapologize的博客
12-28 2904
虚拟机hadoop集群启动时DataNode进程缺失 1.出现问题: 在Linux命令窗口中输入Jps查询hadoop启动项目时缺少DataNode进程; 2.问题原因:使用格式化命令之后又再次进行格式化,导致namenodeDatas文件序列号不一致使之启动失败 3.解决方案: 修改namenodeDatas文件序列号,使其保持一致 3.1DataNode启动成功效果图 云 帆 于 201...
Hadoop运行jps后没有datanode进程
qq_20790447的博客
05-08 2531
jps没有datenode： 1、停止所有jps服务。 $cd /opt/module/hadoop-2.7.2/ $sbin/stop-all.sh 2、删除VERSION $cd /opt/module/hadoop-2.7.2/data/abc/temp/dfs/data/current [hadoop@hadoop102 current]$ ls BP-1881495200-192.168.80.102-1588832599461 VERSION [hadoop@hadoop102 curr
Hadoop | 解决启动Hadoop集群，DataNode不存在的问题
martinniee
01-10 4465
问题描述 1.使用 ./sbin/start-all.sh启动Hadoop集群，过程中DataNode没有启动 2.使用jps查看进程时，没有DataNode节点 在此需注意Hadoop集群是如何搭建的 本实验是使用(伪分布式) 1.Master节点 其他节点在Master节点中 2.Slave节点 DataNode在Slave节点中 可用方案 网上可用方案，及其原因分析是 原因1 多次格式化nameNode节点 (hadoop namenode -format),是NameNode和DataNod
Hadoop集群的DataNode启动不了的解决办法
BigData_Hubert的博客
08-18 3709
关于Hadoop集群的DataNode启动不了的问题是安装Hadoop最常见的坑，下面我介绍五种方法来填坑。 异常提示 hadoop集群子节点目录下 jps 操作没有显示datanode的进程 http://master-ip: 8088窗口下： java操作hadoop异常提示：Java.io.IOException: Cannot lock storage /usr/hadoop/tmp/dfs/name. The directory is already locked. 出现上述3者情况之一，都
hadoop启动后，没有datanode怎么办
qq_34268459的博客
06-21 6846
根据日志中的路径，cd /home/hadoop/tmp/dfs，能看到 data和name两个文件夹。方法一：删除DataNode的所有资料及将集群中每个datanode节点的/dfs/data/current中的VERSION删除，然后重新执行hadoop namenode -format进行格式化，重启集群，错误消失。方法二： 将name/current下的VERSION中的clusterI...
hadoop启动时没有datanode
a18729562128的博客
12-28 1186
jps 没有datanode，我之前有用过hadoop，已经nameformat初始化生成了datanode，所以只需要找到原来的datanode文件所在地，删除掉 sudo rm -rf sudo rm -rf /usr/local/hadoop/tmp/dfs/data 先把启动了的节点全都关了 ./sbin/stop-dfs.sh 再运行 hadoop namenode -format ./sbin/start-dfs.sh 最后结果 就会出现datanode了 ...
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 9315
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
启动hadoop集群没有datanode节点
热门推荐
qq_58538016的博客
04-05 1万+
使用start-dfs.sh启动hdfs后只有namenode，没有datanode。 原因：配置集群式进行了多次格式化，导致两者的id不一致，所以启动namenode是没有启动datanode。 解决办法：可以在VMware李自己找，但在xftp里面寻找更为简便。 1：找到你的hadoop下data/tmp/dfs，里面有name和data两个文件。 2：进入name，在current里有一个version的文件，记事本打开，复制id， 3：再进入到data下的current的ve.
Hadoop启动后没有datanode的问题
qq_45930996的博客
02-21 2155
****安装好zookeeper和高可用后，再次启动没有datanode节点 参考：https://blog.csdn.net/Islotus/article/details/78357857?utm_source=distribute.pc_relevant.none-task https://blog.csdn.net/boling_cavalry/article/details/102764...
hadoop在阿里云上主节点没有datanode进程
铁血军的小博客
05-23 715
问题描述 用三台服务器组成了一个hadoop集群。我暂且简单的记作master,slave1,salve2。 配置和初始化都没有任何问题。在最后用行start-dfs.sh （后来用start-all.sh启动）命令，发现slave1和slave2上都有datanode进程，但唯独master上没有datanode进程，甚至logs下都没有datanode的日志。 依据离谱加挖槽。 解决办法 试了很多很多种办法，更新了所有的配置文件，发现只要再单独的启动一下datanode就行了。。。。。 hadoop-
Hadoop集群启动时没有Datanode
evangelion_Asuka的博客
10-12 2974
在启动集群后，使用jsp命令验证集群是否配置成功时，发现Datanode没有被启动，第一反应是关闭后使用。回到dfs文件夹，进入到data文件夹中的current文件夹，使用cat查看VERSION文件。我们应将DataNode的clusterID改成NameNode的clusterID。start-all.sh命令再次启动，依旧没有，于是检查配置文件依旧没发现问题。先进入name文件夹，然后使用cat查看VERSION文件。将这里面的也复制下来与name文件夹中的对比。将两个ID进行对比发现确实不一样。
jps没有datanode进程
qq_43640212的博客
07-05 8979
jps没有datanode进程 问题描述： 最近配置Hadoop的时候出现了这么一个现象，启动之后，使用jps命令之后没有datanode进程 原因： 我在启动Hadoop之前和启动之后，曾经多次使用如下命令，针对NameNode进行格式化：hadoop namenode -format，这个问题，还不是直接多次格式化造成的，而是格式化之后，启动了Hadoop，然后将Hadoop关闭，重新格式化，再启动Hadoop造成的，这个时候就发现，DataNode线程在jps命令中消失了。 解决方法： 将格
hadoop主机启动jps缺少datanode
03-19
在Hadoop中，DataNode是Hadoop分布式文件系统（HDFS）的一个组件，负责存储和管理数据块。如果在启动Hadoop主机时，发现jps命令缺少DataNode进程，可能有以下几个原因： 1. DataNode进程未正确启动：请确保在启动Hadoop集群时，已经启动了DataNode进程。可以通过查看Hadoop的日志文件或使用命令行工具来确认DataNode是否成功启动。 2. 配置文件错误：检查Hadoop的配置文件，特别是hdfs-site.xml和core-site.xml文件，确保其中的DataNode相关配置项正确设置。例如，确认datanode.data.dir属性指定的目录存在且可写。 3. 网络问题：如果DataNode无法与NameNode通信，可能是由于网络问题导致。请确保主机之间可以正常通信，并且NameNode的地址在DataNode的配置文件中正确设置。 4. 权限问题：检查DataNode进程运行的用户是否具有足够的权限来访问Hadoop相关目录和文件。确保DataNode进程以正确的用户身份运行。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShengFangZaiXiaMo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值