解决DataNode的ID相同导致开启集群查看Web界面其他节点未能连接成功

最新推荐文章于 2022-09-02 13:11:29 发布
最新推荐文章于 2022-09-02 13:11:29 发布
阅读量440 收藏
点赞数
文章标签： DataNode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45739020/article/details/102978099
版权

在这里插入图片描述
查看 vim /etc/hosts主机ip和节点的映射关系是否正确
在这里插入图片描述
查看 cd export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/ 在打开vim slaves 是否添加节点
在这里插入图片描述
如果是克隆的话那么克隆的话DataNode的ID一定是相同的，会导致Web界面，识别出两个一种的唯一ID，解决办法在主节点关闭集群，在克隆的节点删除hadoopDatas
在这里插入图片描述
在次开启集群，克隆的节点就会生成新的DataNode的ID在查看Web界面即可解决问题
在这里插入图片描述

枳言真菌
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop集群DataNode成功启动，但网页没有显示
qq_48770086的博客
12-03 848
Hadoop集群DataNode成功启动，但网页没有显示 修改虚拟机的datanodeUuid即可，保证集群的每台机器不一样（随便修改即可，我改的是最后一个数字） clusterID一样是没有问题的，因为是一个集群的
启动hadoop集群,namenode正常启动，而datanode没有启动或只启动一个，在web端只看到一个datanode的原因及其解决办法
m0_58028961的博客
02-17 3856
启动hadoop集群,namenode正常启动，而datanode没有启动或只启动一个，在web端只看到一个datanode的原因及其解决办法
hadoop显示只有一个datanode启动
u013077314的博客
12-14 5146
1.datanode无法启动： DataNode(dfs/data/current/VERSION)的clusterID与NameNode(dfs/name/current/VERSION)的不一致，datanode无法启动   解决方法：将NameNode的clusterID复制到DataNode，顺便检查下各个storageID、datanodeUuid是不是不一样的（如果一样需要修改）...
如何处理数据库中ID重复的问题
孺牛的博客
10-10 8124
对于ID的增长可以是自增长或者是手动增长，自增长的话，如果测试添加一批数据进来就有可能与之前或者之后的插入数据的ID重复，那么这个时候可以有如下解决思路： 1、设置自增长主键的基值 alter table test auto_intrement = number; 查看数据库里数据的最大的值，将number设置成一个比之还大的值，即往后插入数据时的ID值是从number开始增长 2、通过手
【BUG记录】集群启动后，jps没有datanode，检查发现clusterid一致
08-19 5578
【Hadoop】集群启动后，jps没有datanode，检查发现clusterid一致问题说明像平常一样，使用./start-all.sh脚本后，发现jps没有datanode查找原因1 clusterid不一致初次启动hadoop时候，namenode与datanode的clusterid保持一致。 后来启动集群，发现jps中没有datanode，通常情况下，是namenode多次format，
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
Hadoop集群（zookeeper框架下）增加服役节点_step-b-step.docx
05-27
2. **分发配置文件**：将更新后的`workers`文件复制到其他Zookeeper节点，以保持集群配置的一致性。 然后，启动新添加的Hadoop节点服务： 1. **启动Hadoop服务**：分别启动新节点上的Hadoop DataNode和NodeManager...
hadoop动态增加和删除节点方法介绍
09-30
安装相同版本的Hadoop（例如2.6.3）并配置SSH互信，这可以通过复制现有DataNode的.ssh目录下的`authorized_keys`和`id_rsa`文件来实现。 2. **复制配置和数据**：将Hadoop的运行目录、HDFS目录以及`tmp`目录复制到...
CDH5.9.0节点删除下线
12-19
如果删除的节点是NameNode、DataNode或ResourceManager等关键角色的承载者，那么这些角色的服务可能需要手动重启或重新配置以适应新的集群状态。 在进行节点删除时，务必谨慎操作，确保备份重要数据，以免造成不...
DatanodeID
05-04 219
DatanodeID public String name; /// 内容存放 ：“hostname:portNumber” 也可以没有端口 ///name 的值配置在这个 hdfs-site.xml的{dfs.datanode.address} public String storageID; /// 存放介质 不同机器存放不同介质。 protected in...
各个datanode的storageID不一样，导致启动datanode不成功。
tbdp6411的专栏
04-24 3119
我们在启动hadoop各个节点时，启动namenode和datanode，这个时候如果
hadoop 2.6 Node,DatanodeID,datanodeInfo,DatanodeDescriptor解析
houzhizhen的专栏
01-15 1167
Node 代表一个子结点或者一个中间结点。 /** The interface defines a node in a network topology. * A node may be a leave representing a data node or an inner * node representing a datacenter or rack. * Each data has
明明启动了三个DataNode，hadoop集群只显示一个datanode监控呢
weixin_45310459的博客
09-02 2522
为什么你的hadoop监控网页，只显示一个DataNode
hadoop集群中部分datanode有进程但不是active
站在网络的肩膀上,自学成才
03-16 1311
发现drh02是有问题的  并且drh03没有 （drh02和drh03datanode的cid相同） org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException): Data node DatanodeRegistration(192.168.68
datanode和namenode启动id不一致
再鹤的博客
08-15 2681
执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的namenode的版本。如果我们频繁的格式化namenode，那么datanode中保存（即配置文件中dfs.data.dir在本地系统的路径）的current/VERSION文件只是你第一次格式化时保...
hadoop datanode 无法启动之 namenode ID 不一致解决办法。
垮掉的一代人的专栏
04-14 4918
如何验证集群namenode ID和datanode ID 一致 首先 我们将文件存在/usr/local/hadoop_tmp/hdfs目录下 新建datanode和name node 文件夹，并使用hadoop namenode -format或hdfsnamenode -format（这个命令执行文件在/usr/local/hadoop/sbin）目录下。第一次使用会在N...
hadoop datanode重启出现namenode的clusterID和datanode的不一致。
木易的专栏
05-10 9700
日志报出的错误是这样的： 016-05-10 15:14:05,620 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (storage id DS-6116241-10.20.18.160-50010-1462417536805) se
Hadoop集群启动后没有Datanode解决方法
qq_42321843的博客
03-10 2583
1.关闭集群 stop-dfs.sh stop-yarn.sh 2.将集群中每个datanode节点的VERSION删除 （VERSION里面记录着datanodeid信息 路径/hadoop/tmp/dfs/data/current） cd /usr/local/hadoop/tmp/dfs/data/current/ ls rm -f VERSION 3.执行hdfs namenode -fo...
hadoop运行时，子节点出现ERROR: Cannot set priority of datanode process 15464导致无法开启datanode
最新发布
05-04
这个错误通常是由于hadoop用户没有足够的权限来修改datanode的进程优先级导致的。你可以尝试以下方法来解决这个问题： 1. 确保你正在使用hadoop用户运行hadoop集群。你可以使用如下命令来切换到hadoop用户： ``` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值