Hadoop中遇到master主机有datanode 而各个worker机器没有datanode解决办法

最新推荐文章于 2024-04-17 13:22:15 发布
最新推荐文章于 2024-04-17 13:22:15 发布
阅读量1.3k 收藏 1
点赞数 1
文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XmissRP/article/details/105690937
版权

 

 

检查Master主机的cluster id与各个worker机器cluster id是否一致

大部分原因就是cluster id不一致导致worker（slave)机器的datanode未启动

 

 

如果机器较少可以试试慢慢同步cluster id

首先去master主机的name/current/VERSION或者data/current/VERSIO里面找到cluster id

然后去其它worker(slave)机器里面同步cluster id

 

 

嫌麻烦的可以直接把各个机器的 name/current/VERSION 和data/current/VERSIO文件删了

然后直接复制master的name/current/VERSION  data/current/VERSIO 同步到各个机器里面

但是 注意 记得修改data/current/VERSIO里面的datanodeUID以及storageID  不然会导致无法在管理界面看到机器

XmissRP
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop 启动后slave1中的datanode没有启动
hello world!
03-09 8994
问题 问题：hadoop 启动后slave1中的datanode没有启动，但slave2中的datanode启动，而且查看slave1下的tmp文件夹(~/hadoop-2.8.3/tmp)并没有dfs文件夹。 方法 方法一 在网上找了一些方法，都说要删掉上面的tmp文件夹，使clusterID保持一致，但我的slave1中压根没有这样的文件夹啊。 （hadoop 常见错误） ...
启动hadoop，只有两个从节点没有DataNode的异常
qq_28286027的博客
03-31 2470
解决办法： 在从节点的logs中查看日志如下： 发现问题原因是主节点的VERSIONID和从节点不一样导致的 解决办法： 1.有重要数据情况下：把主节点的VERSIONID复制到从节点中 2.没有重要数据情况下：把主节点的hdfs文件夹都删掉 ...
Hadoop Slave 没有启动datanode Master有
gch1997626的博客
06-07 1301
Slave 输入jps，没有datanode进程，说明没启动，原因在于Slaves没有更改，用编辑器更改你的Slave。
Hadoop3.3.0集群只能启动master，无法启动slave
u014231534的博客
11-06 2164
Hadoop3.3.0一个小坑，slaves文件更名为workers，启动时slaves都启动不了。master上倒是起来了DATANODE, NAMENODE, NODEMANAGER, SECONDARNAMENODE, RESOURCEMANAGR,JPS。修改slaves文件名为workers后重启，就正常了。 正常启动集群时，master上只有NAMENODE,RESOURCEMANAGR,SECONDARNAMENODE, JPS。slave上有AGENTSERVERMAIN, DATAN..
HDFS主节点DataNode正常启动但是从节点jps没有DataNode进程[已解决]
haj6468的博客
04-17 1285
1.首先可能是权限问题，之前有不小心用root用户启动过Hadoop，所以得排查Hadoop，安装路径的权限是不是hadoop用户的。包括/data/dn /data/nm。③data/nn/current ，/data/dn/current下的VERSION文件的clusterID不一致！查看/etc/host 文件里面是否设置好了代理，和第一点的wokers文件是否一致，每个节点都得看看。2.权限问题排查之后，查看日志，一般在hadoop/logs文件夹下，每个节点都看一下。
CentOS Linux中搭建Hadoop和Spark集群详解.docx
06-06
在搭建Hadoop和Spark集群的过程中，首先需要理解这两个框架的基本概念和作用。Hadoop是一个开源的分布式计算框架，由两个主要组件构成：HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一个高容错性的...
hadoop&spark安装教程.pdf
07-11
- **集群模式**：使用 `sbin/start-master.sh` 和 `sbin/start-slave.sh` 等脚本启动 Spark 的 Master 和 Worker 节点。 **6. 测试 Spark** - 通过运行 `spark-shell` 命令进入 Spark 的 Scala 交互式环境，执行...
Hadoop应用开发-实验指导书.doc
04-22
- **完全分布式模式**：Hadoop在多台物理机器上运行，每台机器扮演不同的角色（如NameNode、DataNode、ResourceManager等），通过网络进行通信和协调工作。 #### 实验操作步骤 1. **环境准备**：确保所有节点的时间...
CDH安装手册.rar_cdH_hadoop_hadoop安装手册_大数据_安装部署
07-13
合理规划节点角色（如Master、Worker节点），确定数据存储策略，以及设置合适的资源分配策略。 5. **服务配置** CDH中包含多个服务，如HDFS、YARN、HBase、Spark等。每个服务都有特定的配置项，例如HDFS的NameNode...
hadoop&spark使用教程详细介绍文档
最新发布
07-13
- 使用 `$SPARK_HOME/sbin/start-all.sh` 命令启动 Spark 的 Master 和 Worker 节点。这一步骤会在本地环境中启动 Spark。 #### 六、使用 Spark 进行数据分析 1. **创建 SparkSession**： - SparkSession 是 ...
hadoop集群datanode界面只显示一个
Y0730Y的博客
11-26 1639
因为slave机的配置文件是直接从master机里复制过去的，所以VERSION文件里的内容都一样 不同机器的clusterID都一样。 解决方法： 把slave机里的VERSION删掉，重启
Hadoop集群切换伪分布式时Master上jps没有Datanode解决方法
weixin_55501516的博客
11-01 2587
问题：Hadoop的五个分布式环境文件都修改好了，但在Master节点上jps的时候不出现datanode，格式化namenode ：hadoop namenode -format 也没有效果。 分析：在之前配置分布式环境文件的时候产生过一个hadoop/tmp 日志文件，需要删除 解决方法：关掉Hadoop进程：stop-dfs.sh 或关闭所有进程 stop-all.sh ,进入hadoop安装路径把整个tmp文件夹删掉：rm -rf /usr/local/hadoop/tmp，新建一个tmp文件夹
hadoop slave节点无法启动datanode数据节点进程，但是master节点datanode正常启动
zhangyuhaifa的专栏
08-26 2199
按照Docker创建的集群下使用ansible部署hadoop教程，使用最新版本的hadoop3.0以后版本，一直出现mater节点正常启动，也包括datanode节点。查阅网上很多资料都是反应多次格式化引起。但是发现slave节点根本没有出现那些目录。所以心中一直有这个疑虑。当然也跳过很多坑！困扰我整整一个星期。 报着不解决问题死不休的心态，终于在茫茫问题解决贴中找到答案 传送门：hadoop错误- slave节点无法启动data node数据节点进程，但是master节点datanode正常启动
搭建Hadoop时Slave节点没出现DateNode进程的原因
weixin_46128342的博客
04-06 8562
搭建Hadoop时Slave节点没出现DateNode进程的原因 正确的Hadoop下的Master、Slave节点jps后会出现 但当我关闭集群后重新用hdfs namenode -format进行文件格式后，重新启动集群， Slave节点却jps不到DataNone 原因：hdfs强制性多次初始化数据，会导致VERSION里面的nameid，clusterID，blockpoolID变化，...
关于Hadoop在启动时只有一个一个datanode的解决办法
qq_24584471的博客
07-15 4432
[root@slave1 current]# pwd /usr/hadoop/hadoop-2.7.3/hdfs/data/current
hadoop集群slave节点jps后没有datanode解决方案
dress
03-17 5087
3.切换到slave节点，将/usr/local/hadoop/tmp/dfs/data/current里的VERSION文件中的clusterID替换成与master的VERSION文件中clusterID一致。2.找到安装hadoop的文件夹，我的是(/usr/local/hadoop)再找到里面的tmp/dfs/name/current,打开VERSION查看并复制clusterID的内容。操作：在master里输入命令。操作：在slave里输入命令。
Hadoop集群中某主机(Worker)不作为HDFS的存储(Datanode)
Shion's bla bla blog
01-14 789
集群中有些主机不想作为HDFS存储，但想参与Yarn集群运算，以及不停止集群动态上线/下线主机。
真实HDFS集群启动后master的jps没有DataNode
微电子学与固体电子学-俞驰
04-27 2030
环境: 台式机和笔记本搭建的真实集群 故障： 笔记本和台式机组建的集群，在仔细核对各种教程后，发现master的jps中总是没有datanode 排查思路: /home/appleyuchi/bigdata/hadoop-2.7.7/sbin/start-all.sh内容为: 提到了start-all.sh #!/usr/bin/env bash # Licensed to...
spark的slave上没有datanode 的解决办法
make_APP的博客
01-27 5654
问题描述： 通过jps命令 发现 两个slave上都没有datanode，而master上正常 找到namenode和datanode各自的VERSION，发现master下的更新日期为1月27，slave下为12月25 分别查看master和slave日志发现果然有warn 解决办法： 1、停止服务，停止spark的和hadoop的，有stop-all.sh 2、找到哪台的s
Hadoop集群搭建教程：Master节点下载与配置
在搭建Hadoop集群的过程中，Master节点扮演着核心角色，它是整个集群的管理和控制中心。本资源主要讲述了如何在Master节点上下载和配置Hadoop，以及Hadoop的基本概念和工作原理。 首先，我们需要在Master节点上下载...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值