Hadoop启动集群后有个机器没有datanode，请各路大神帮忙看下，谢谢

最新推荐文章于 2024-05-13 21:12:34 发布
最新推荐文章于 2024-05-13 21:12:34 发布
阅读量616 收藏
点赞数
分类专栏： For Help 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45500051/article/details/100590560
版权

Hadoop启动集群后有个机器没有datanode，请各路大神帮忙看下，谢谢
新手一枚，前几天搭建好的集群用了几天都好好地，结果今早上起来的时候发现有一个机器datanode没有了，请问该怎么处理。
集群有三个机器，
在这里插入图片描述
hosts，slaves文件都是已经配置好的，有没有方法能够在不格式化的情况下搞定啊？
在这里插入图片描述
在这里插入图片描述

李寻欢-成都
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop集群namenode或者datanode进程没有启动
weixin_46253962的博客
07-17 276
1.先停止所有的进程 stop-all.sh 2.查看core-site.xml 3.切换到配置文件的路径 cd /usr/local/hadoop 删除logs文件夹以及清空tmp文件夹 rm -rf logs rm -rf tmp/* 这一步操作集群中的每台机器都需要进行 4.格式化namenode hdfs namenode -format 5.启动Hadoop集群 start-all.sh ...
hadoop集群中datanode启动不了
InsectsAwaken_的博客
04-15 890
主要 可能的原因： DataNode和clusterID和NameNode的clusterID不匹配 格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。（目前我只删除了data数据就可以正常工作） 查看两个ID的命令： [atgui...
关于hadoop集群开启后，datanode为0个，找不到datanode的解决方法
weixin_54628931的博客
03-26 4070
这个问题也卡住我好几天，通过百度和自己摸索，最终找到问题的答案，如果有不对的地方，请大神们批评指正。 相信各位已经配置好了hdfs-site.xml文件，也运行过hdfs namenode -format命令，但是还是没有找到datanode。可以尝试以下步骤： （1）进入到vi /opt/rh/hadoop-3.2.2/etc/hadoop/hdfs-site.xml 打开这个配置文件，查看你的name和data文件夹的地方。 随后进入到这两个文件夹下，使用rm -rf *命令删除文件夹...
Hadoop集群启动但是没有datanode/namenode的情况
学习笔记
11-26 7908
Hadoop集群我们是用三台笔记本电脑装了Ubuntu虚拟机然后进行集群的搭建。但是后来启动集群，一开始是主节点没启动起来，因为配置文件看走眼，配错了，然后又重新初始化了一次，然后可能因为重复初始化，导致datanode又没了，然后一直在尝试，一直在搜CSDN到底什么原因。目前根据搜索到的以及老师说的总结起来有三点：1.配置文件出错了2.ssh免密没做好3.重复初始化这三个问题应该在之前不断循环往复的出现…直到这周终于把集群启动起来并且能够正常工作了。
hadoop集群启动唯独缺少DataNode进程的解决方法
最新发布
2202_75961842的博客
05-13 554
我们可以找到datanode的资料，VERSION文件，然后把所有用到datanode进程的节点上面的VERSION都删除，再在主机上重新进行格式化，再次使用。因为各种原因导致需要快照或重新配置，进入到最后一步格式化过后，开启集群发现主机进程一切正常，从节点其他进程也都有，唯独Datanode进程没有的情况。，datanode进程就可以出来了。可能是因为两次甚至多次的。然后重启Hadoop。
hadoop集群启动后datanode没有启动
m0_51697147的博客
11-20 6580
解决方法： 第一步：关掉所有启动的集群 在hadoop3.1.3目录下，输入命令sbin/stop-all.sh 第二步：删除每个集群中datanode存放路径的数据,data 和logs 输入命令：rm -rf data/ logs/ 第三步：重新格式化 输入命令：hadoop namenode -format 第四步：启动集群 在hadoop3.1.3目录下，输入命令sbin/start-all.sh 第五步：查看进程 输入命令：jps
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 8747
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
启动hadoop集群没有datanode节点
qq_58538016的博客
04-05 1万+
使用start-dfs.sh启动hdfs后只有namenode，没有datanode。 原因：配置集群式进行了多次格式化，导致两者的id不一致，所以启动namenode是没有启动datanode。 解决办法：可以在VMware李自己找，但在xftp里面寻找更为简便。 1：找到你的hadoop下data/tmp/dfs，里面有name和data两个文件。 2：进入name，在current里有一个version的文件，记事本打开，复制id， 3：再进入到data下的current的ve.
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
启动Hadoop后 没有DataNode进程 的解决方法
09-30
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解！
看懂Hadoop集群原理与实现方式
01-27
文章让大家通过拓扑图的形式直观的了解Hadoop集群是如何、运行以及各个节点之间如何相互调用、每个节点是如何工作以及各个节点的作用是什么。明白这一点将会对学习 Hadoop有很大的帮助。首先，我们开始了解Hadoop的...
【问题解决】Hadoop集群启动后执行JPS没有DataNode或NameNode
热门推荐
午夜的行人
04-18 3万+
引言 最近在尝试在搭建Hadoop集群并测试集群是否搭建成功，但是第一次格式化NameNode并启动HDFS和YARN时发现一会儿有DataNode或者NameNode但是后面就没有了，二者没有同时存在，也尝试过停止进程再重新启动都没有解决掉该问题。 相关命令 集群第一次启动，格式化NameNode bin/hdfs namenode -format 启动HDFS sbin/start-dfs.sh 停止HDFS sbin/stop-dfs.sh 启动YARN sbin/start-yarn.sh
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 2689
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
hadoop 集群启动从节点无datanode
T_Y_F_的博客
10-19 2454
hadoop 集群启动从节点无datanode
hadoop集群启动之后dataNode节点没有启动
qq_20124743的博客
11-29 1万+
启动Hadoop集群之后slave机器的dataNode节点没有启动 master机器的nameNode节点启动了 1、在集群/usr/local/src/hadoop/bin目录下./start-all.sh暂停所有服务 2、将/usr/local/src/hadoop/目录下的 logs、tmp文件夹删除(DataNode存放数据块的位置) 然后重新建立tmp  logs文件夹 3、重新
hadoop集群启动的时候，从机的DataNode没有启动的原因及解决
amine520的博客
10-26 3033
原因： 由于过多在namenode机器上执行hdfs namenode -format命令，导致DataNode机器上data文件夹下的数据与namenode机器上name文件夹下的数据没有匹配上，这样就无法启动DataNode上的DataNode进程了。 解决： 删除data文件夹下的所有数据，data文件夹的位置可以在hdfs-site.xml配置文件中找到，下面是我的data位置。执行删除命...
hadoop2.7集群初始化之后没有DataNode的问题
程序员欣宸的博客
10-27 3624
修复hadoop2.7集群初始化之后没有DataNode的问题
在Hadoop集群搭建搭建时，从属虚拟机slave01和slave02jps查看进程时，没有datanode的解决办法
xh_1187466027的博客
09-11 4819
刚开始一直没找出原因，原来是格式化语句 ：hdfs namenode -format执行了多次生成了一个current文件，去把每台虚拟机上的current文件删除了就可以了。 1、先根据图中的途径找到current文件； 2、然后再将它删除； 3、按照同样的方法切换到另外两台虚拟机将current文件删除。再去slave01和slave02上执行jps即可看到DataNode； ...
Hadoop集群启动后每个节点 DataNode等进程号不一致
07-13
你好！对于Hadoop集群中每个节点的进程号不一致的问题，可能有几种可能的原因。以下是一些常见的原因和解决方法： 1. 配置文件不一致：请确保每个节点上的Hadoop配置文件（如`hdfs-site.xml`和`core-site.xml`）是相同的。这些文件中包含了节点的角色和相应的进程号配置。使用统一的配置文件可以确保所有节点具有相同的进程号。 2. 节点之间的软件版本不一致：确保每个节点上安装的Hadoop软件版本是相同的。不同的版本可能具有不同的进程号分配方式，导致节点之间进程号不一致。 3. 节点资源配置不一致：检查每个节点的硬件资源配置是否相同，包括内存、CPU等。如果资源配置不一致，Hadoop启动时可能会根据节点的资源情况分配不同的进程号。 4. 其他配置文件不一致：除了Hadoop配置文件外，还要确保其他相关配置文件（如操作系统级别的配置）在所有节点上是一致的。这些配置文件可能会影响到进程号的分配。 如果以上方法都没有解决问题，可以尝试重新启动整个集群，并确保在启动过程中没有出现错误或警告信息。如果问题仍然存在，可能需要进一步检查集群的环境和配置，以确定具体的原因。 希望以上信息对你有帮助！如果你还有其他问题，请随时追问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值