解决Hadoop集群中（主，从）节点上无datanode的问题

最新推荐文章于 2023-08-02 16:22:04 发布
最新推荐文章于 2023-08-02 16:22:04 发布
阅读量7.8k 收藏 30
点赞数 12
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxc1207/article/details/104821739
版权

1.关闭集群

stop-all.sh

2.删除日志和临时文件

  1. 进入hadoop的根目录
  2. 删除logs和tmp
    rm -rf logs
    rm -rf tmp
  3. 建立logs和tmp

mkdir logs
mkdir tmp
在这里插入图片描述
在这里插入图片描述

6在这里插入图片描述

3. 重新格式化

hadoop namenode -format
在这里插入图片描述
在这里插入图片描述

4.开启集群

start-all.sh

在这里插入图片描述

5.查看jps

在这里插入图片描述

CLAY超
关注
  • 12
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
专栏目录
jps不出现datanode_从节点JPS没有dataNode的解决办法
weixin_39612228的博客
12-19 3272
从节点JPS没有dataNode的解决办法查看logs日志文件，找到Hadoop的安装目录下logs目录，用cat hadoop-root-datanode-localhost.localdomain.log进行日志查看1、java.net.BindException: 无法指定被请求的地址另一种错误表现方式是：执行hadoop fs -put命令报错could only be replicate...
mac上基于docker搭建hadoop集群
01-20
1、拉取centos8的镜像 在用户目录下： 2、构建集群子网 按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和datanode hadoop02 为yarn主节点负责各个节点的资源调度, hadoop02，hadoop03为datanode节点 OS hostname IP Centos8 hadoop-master 172.1
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 5185
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
hadoop集群搭建，主节点没有DataNode进程
huting1990的博客
11-30 2391
hadoop集群搭建，主节点没有DataNode进程的原因记录 在设置 主节点服务器的 /etc/hosts 不小心把 127.0.0.1 localhost.localdomain localhost 127.0.0.1 localhost4.localdomain4 localhost4 这两行全删掉了，导致DataNode启动报错： HttpServer.start() threw a non Bind IOException java.net.BindException: Port in use:
Hadoop高可用集群搭建，jps查看进程，有时没有namenode，有时没有datanode
weixin_48437766的博客
04-07 3657
问题描述 Hadoop高可用集群搭建完成后，jps查看进程，有时没有namenode（这篇文章中解决了没有namenode），有时没有datanode 但是多次初始化namenode后造成datanode与namenode之间的id不一致，网上有很多教程解决这个问题大体思路是： 当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的 namenode的版
hadoop图形化界面上只有一个datanode，集群中其他节点没有显示出来
水镜先生的博客
02-21 6841
最近了解一些大数据知识，自己尝试着搭建hadoop集群，但是遇到了很多坑，总结一下。 hadoop-daemon.sh开启集群，设置了3台虚拟机来当作集群，在master节点通过jps命令查看，看到3台集群的DataNode，NameNode、SecondaryNameNode都已启动，在slave节点通过jps命令查看，每台服务器的东西都启动成功。 但是在图形化界面上看只有一个DataNode，...
解决Hadoop完全分布式集群中从节点jps没有datanode节点问题
木子一个Lee的博客
10-23 7879
也是进入这个目录，只不过namenode中的name文件在datanode是变为了data文件，即/tmp/dfs/data/current。当用start-dfs.sh和start-yarn.sh后，在slave节点(从节点)中用jps命令查看进程。有时候可能发现没有Datanode，即只有两项(第一项和最后一项)。clusterID替换掉datanode的clusterID就可以了。然后打开VERSION，把namenode的。打开，记录namedode下的。
Hadoop集群启动从节点没有DataNode
m0_61232019的博客
03-03 6985
之前启动hadoop集群的时候都没有问题，今天启动hadoop集群的时候，从节点的DataNode没有启动起来。
HADOOP 主节点启动了datanode但是从节点没有的解决办法（所有节点没有datanode也都适用）
weixin_58515213的博客
04-16 7524
HADOOP 主节点启动了datanode但是从节点没有的解决办法（所有节点没有datanode也都适用）
PHP 7.4.x + Apache环境搭建
无为 的专栏
09-07 3689
最近在使用Atlassian 的软件 Bamboo 进行大家 CI/CD 环境，因为软件是 PHP 开发的，所以先要在 Win10下搭建 PHP 运行环境。为了方便保留信息，在此记录了搭建过程，目前先就不安装 MySql了，主要是下载并安装 php-7.4x 和 httpd-2.4.x。 1.下载软件 1）下载php-7.4.10-Win32-vc15-x64.zip，官方网站：https://windows.php.net/downloads/releases/ 2）下载httpd-2.4....
解决启动hadoop后jps没有从节点没有DataNode问题
qq_46085912的博客
12-23 3793
进入hadoop安装目录找到core-site.xml（/usr/local/soft/hadoop-3.2.0/etc/hadoop/）并查看 找到： <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> </property> 去到 /data/hadoop/目录下进入/data/hadoop/hdfs/
hadoop集群基本进程
01-07
namenode namenode 相当于一个领导者，负责调度 比如你需要存一个640m的文件 如果按照64m分块 那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上 并记录对于关系 。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了 QuorumPeerMain  QuorumPeerMain Zookeeper集群启动的入口类是QuorumPeerMain来加载配置启动QuorumPeer线程。首先我们来看下QuorumPeer， 谷歌翻译quorum是法定人数，定额的意思， peer是对等的意思，那么QuorumPee
hadoop动态增加和删除节点方法介绍
01-10
上一篇文章中我们介绍了Hadoop编程基于MR程序实现倒排索引示例的有关内容，这里我们看看如何在Hadoop中动态地增加和删除节点（DataNode）。 假设集群操作系统均为：CentOS 6.7 x64 Hadoop版本为：2.6.3 一、动态增加DataNode 1、准备新的DataNode节点机器，配置SSH互信，可以直接复制已有DataNode中.ssh目录中的authorized_keys和id_rsa 2、复制Hadoop运行目录、hdfs目录及tmp目录至新的DataNode 3、在新DataNode上启动hadoop ..sbin/hadoop-daemon.sh
hadoop集群配置三节点（超详细）
10-08
hadoop集群配置三节点（超详细）
Hadoop集群datanode磁盘不均衡的解决方案
02-25
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点，节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，具体如下：上图中可以看出max是94.18%，而min是0.37%，其中有600多台是
hadoop 集群启动从节点无datanode
T_Y_F_的博客
10-19 2342
hadoop 集群启动从节点无datanode
hadoop在阿里云上主节点没有datanode进程
铁血军的小博客
05-23 630
问题描述 用三台服务器组成了一个hadoop集群。我暂且简单的记作master,slave1,salve2。 配置和初始化都没有任何问题。在最后用行start-dfs.sh （后来用start-all.sh启动）命令，发现slave1和slave2上都有datanode进程，但唯独master上没有datanode进程，甚至logs下都没有datanode的日志。 依据离谱加挖槽。 解决办法 试了很多很多种办法，更新了所有的配置文件，发现只要再单独的启动一下datanode就行了。。。。。 hadoop-
hadoop集群启动唯独缺少DataNode进程的解决方法
最新发布
m0_74119720的博客
08-02 4223
Hadoop缺少datanode进程
配置hadoop集群怎么将从节点的clusterID改成与主节点的相同
05-12
要将从节点的clusterID改为与主节点相同，需要按照以下步骤进行操作： 1. 在从节点上备份hdfs-site.xml文件和core-site.xml文件。 2. 停止从节点的所有Hadoop服务。 3. 编辑hdfs-site.xml文件，将dfs.namenode.rpc-address属性更改为主节点的IP地址和端口号。 4. 编辑core-site.xml文件，将fs.defaultFS属性更改为主节点的IP地址和端口号。 5. 在从节点上删除数据目录，包括dfs.datanode.data.dir和dfs.datanode.data.dir.perm。 6. 在从节点上执行格式化命令以创建新的数据目录：hadoop namenode -format。 7. 启动从节点的所有Hadoop服务。 8. 检查从节点的日志文件以确保它已成功连接到主节点。 在执行上述步骤之前，请确保您已经备份了重要的配置文件和数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值