Hadoop没有datanode节点解决

最新推荐文章于 2024-05-27 12:39:39 发布
最新推荐文章于 2024-05-27 12:39:39 发布
阅读量1.6w 收藏 11
点赞数 2
分类专栏： Hadoop研究 文章标签： hadoop启动 hadoop没有dataNode进程 hadoop没有dataNode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vtopqx/article/details/80738983
版权

Hadoop启动之后jps查看，

[root@VM_0_3_centos hadoop]# jps
23488 NameNode
23746 SecondaryNameNode
24100 Jps
23959 ResourceManager
24057 NodeManager

9068 Bootstrap

可以看到少了DataNode，

出现这种问题的原因有很多，如下：

1、nameNode进行format多次，导致nameNode和dataNode的版本不一致；

2、dataNode没有启动成功，可以查看hadoop目录下logs日志，查看启动错误原因；

3、机器的hostname包含有特殊字符比如下划线"_"，如：VM_0_3_centos等，会导致启动dataNode失败；

漫天雪_昆仑巅
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 5526
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
hadoop的dataNode节点起不来
qq_29667805的博客
08-30 6109
今天发现hadoop集群挂掉了一个dataNode节点: 此时发现一个dataNode节点已经挂了快60个小时了(由于我被临时调用到别的工作中,以为这磁盘很坚强,加上加班,所以疏忽了,有点不称职了) 赶快启动单节点 hadoop-daemon.sh start datanode    顿时*花一紧,没起来.赶快查日志,日志文件上面那个 *********************...
Hadoop集群启动从节点没有DataNode
m0_61232019的博客
03-03 7391
之前启动hadoop集群的时候都没有问题，今天启动hadoop集群的时候，从节点的DataNode没有启动起来。
hadoop搭建，jps没有datanode节点解决办法（实用简化版）
最新发布
weixin_73692048的博客
05-27 387
办法2.删除master节点 usr/local/hadoop/dfs目录下的data和name目录，然后创建新的data,name。（若仍报错，请检查usr/local/hadoop/etc/hadoop目录下配置文件，确保文件路径正确，都可以打开）本人情况：Hadoop分布式搭建，有主节点master，从节点slave01，ssh和相关映射已经弄好。问题：master节点正常启动，slave01节点datanode无法启动。办法1.在slave01中，手动启动datanode。
HADOOP 主节点启动了datanode但是从节点没有的解决办法（所有节点没有datanode也都适用）
weixin_58515213的博客
04-16 7810
HADOOP 主节点启动了datanode但是从节点没有的解决办法（所有节点没有datanode也都适用）
hadoop集群启动唯独缺少DataNode进程的解决方法
m0_74119720的博客
08-02 4673
Hadoop缺少datanode进程
解决Hadoop完全分布式集群中从节点jps没有datanode节点问题
木子一个Lee的博客
10-23 8776
也是进入这个目录，只不过namenode中的name文件在datanode是变为了data文件，即/tmp/dfs/data/current。当用start-dfs.sh和start-yarn.sh后，在slave节点(从节点)中用jps命令查看进程。有时候可能发现没有Datanode，即只有两项(第一项和最后一项)。clusterID替换掉datanode的clusterID就可以了。然后打开VERSION，把namenode的。打开，记录namedode下的。
启动hadoop集群没有datanode节点
热门推荐
qq_58538016的博客
04-05 1万+
使用start-dfs.sh启动hdfs后只有namenode，没有datanode。 原因：配置集群式进行了多次格式化，导致两者的id不一致，所以启动namenode是没有启动datanode。 解决办法：可以在VMware李自己找，但在xftp里面寻找更为简便。 1：找到你的hadoop下data/tmp/dfs，里面有name和data两个文件。 2：进入name，在current里有一个version的文件，记事本打开，复制id， 3：再进入到data下的current的ve.
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
hadoop （多节点）环境搭建
05-05
2. 配置 Datanode 节点，使用命令 `ssh-keygen -t rsa`。 3. 配置 Hadoop 集群，使用命令 `hadoop`。 搭建 Hadoop 环境需要安装 Ubuntu 操作系统、安装 Hadoop 软件、配置 SSH 无密码登录、配置 Hadoop 集群等步骤...
hadoop动态增加和删除节点方法介绍
09-30
在Hadoop集群中增加新的DataNode节点，可以提高集群的数据存储和处理能力。以下是增加DataNode的步骤： 1. **准备新节点**：首先，确保新节点的操作系统与集群中的其他节点一致，例如CentOS 6.7 x64。安装相同版本...
关于我第二次遇到Hadoop启动集群子节点没有DataNode节点问题
m0_58676712的博客
07-21 3010
找一下HDFS的配置文件,我的在$HADOOP_HOME/etc/hadoop文件夹下，查看你的dfs.name.dir 和 dfs.data.dir 下的内容，也就是保存的路径在哪里，然后删掉文件夹下的data和name文件夹，重新启动集群。
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 8841
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 2739
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
解决Hadoop伪分布式集群jps没有datanode节点问题
sunzhipan11的博客
08-10 1万+
解决Hadoop伪分布式集群没有datanode节点问题
Hadoop集群启动后命令JPS没有DataNode或者NameNode
qq_53953480的博客
03-22 7787
a:进入/opt/module/hadoop-3.1.3/data/dfs目录里面删除掉所有文件。c:进入/opt/module/hadoop-3.1.3/logs目录里面删除掉所有文件。1）需要检查core-site.xml 和 hdfs-site.xml这俩文件，配置没错的话再看第二条。2）可能已经执行格式化NameNode后，但是格式之前并没有停止之前的进程并删除相关数据。1）删除dfs文件夹里的文件和删除nm-local-dir目录。2）删除后需要重新执行格式化NameNode操作。
PHP 7.4.x + Apache环境搭建
无为 的专栏
09-07 3825
最近在使用Atlassian 的软件 Bamboo 进行大家 CI/CD 环境，因为软件是 PHP 开发的，所以先要在 Win10下搭建 PHP 运行环境。为了方便保留信息，在此记录了搭建过程，目前先就不安装 MySql了，主要是下载并安装 php-7.4x 和 httpd-2.4.x。 1.下载软件 1）下载php-7.4.10-Win32-vc15-x64.zip，官方网站：https://windows.php.net/downloads/releases/ 2）下载httpd-2.4....
hadoop 集群启动从节点无datanode
T_Y_F_的博客
10-19 2544
hadoop 集群启动从节点无datanode
HADOOP 启动后没有datanode解决办法（适用于所有节点datanode）
FBFBSDF的博客
09-21 2765
hadoop集群datanode无法启动
hadoop没有datanode节点
03-16
如果Hadoop没有Datanode节点，那么可能是以下原因之一： 1. 没有正确配置Hadoop集群：在配置Hadoop集群时，必须确保所有节点都正确配置，并且Datanode节点已经启动。 2. Datanode节点出现故障：如果Datanode节点...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值