hadoop集群中部分datanode有进程但不是active

最新推荐文章于 2020-07-03 03:26:01 发布
最新推荐文章于 2020-07-03 03:26:01 发布
阅读量1.3k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/drhhyh/article/details/44308731
版权


发现drh02是有问题的  并且drh03没有 （drh02和drh03datanode的cid相同）


org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException): Data node DatanodeRegistration(192.168.68.103, datanodeUuid=000c785c-633b-42ae-8eaa-4f1b0f8bb550, infoPort=50075, ipcPort=50020, storageInfo=lv=-55;cid=CID-80fbc1a8-ca80-4625-83df-5ae4e1ab633e;nsid=2034798260;c=0) is attempting to report storage ID 000c785c-633b-42ae-8eaa-4f1b0f8bb550. Node 192.168.68.102:50010 is expected to serve this storage.
......
......

原因：集群中不同机器上的datanode的cid重复（我是由于安装是拷贝过去导致的）    修改成不一样的就ok了 

修改${hadoop-home}/tmp/dfs/data/current/VERSION      修改cid

偷师网络
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop集群启动后,在web:50070端口只有一个datanode节点
qq_42321843的博客
03-10 2774
Hadoop集群启动后，使用jps查看进程均没问题，但是在Web50070端口上只显示了一个datanode。 解决方法： 1.关闭集群 stop-dfs.sh stop-yarn.sh 2.将集群中每个datanode节点的VERSION删除 （VERSION里面记录着datanodeid信息 路径/hadoop/tmp/dfs/data/current） cd /usr/local/hado...
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException)
qq_30657195的博客
07-25 3266
今天重新部署了一个3个节点的hadoop完全分布式集群，在第一台节点上安装好hadoop后，使用了伪分布式模式对集群进行了上传文件操作，运行了wordcount案例。在进行完全分布式时，发现有个节点无法启动，查看该节点的 .log文件，发现在文件最后抛出了以下错误。仔细回顾操作过程后，这一系列操作是属于往集群中添加节点。于是，我关闭了集群，并在namenode节点的etc/hadoop目录下添加了...
hadoop启动后，Active Nodes节点数是0，没有Active Nodes节点
小蜗牛的博客
05-27 3659
1.启动Hadoop start-dfs.sh start-yarn.sh 2.执行jps 没有nademanager进程 3.解决 进入/usr/local/file/hadoop-2.9.2/etc/hadoop vi yarn-site.xml 在yarn配置文件中增加配置 <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1
解决：hadoop2.5.2 HA启动时出现了两个standy的Namenode，没有出现active的Namenode
大数据之美
07-31 742
hadoop启动时报：Unable to trigger a roll of the active NN 错误。 HA启动时出现了两个standy的Namenode，没有出现active的Namenode（通过web界面查看到的） 执行jps查看进程发现，状态监控进程：DFSZKFailoverController 没有启动。 HA模式下，在zookeeper集群没有启动的情况下，执行st...
通过http端口获取hadoop集群的active node
梦，不可及，所以可期待...
08-10 851
最近部门合并，两个部门的集群需要同步到一起，自然用的是【distcp】，因为两个集群的版本不一致，用hdfs可能会有问题，所以通过http端口来传输。因为两个集群都配置了HA，无法确定什么时候哪个name node处于active状态，所以需要先每次传输前先获取active node。 方式是通过JMX来获取集群信息。 解析返回的json，获取到active node后退出，开始传输数据。 #...
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
【Hadoop HA 集群部署详解】 在大数据领域，Hadoop HA（高可用性）是确保服务持续可用的关键技术，特别是在...正确配置和管理这些组件，能确保Hadoop集群在面对单点故障时仍能提供稳定的服务，提高整体系统的可靠性。
Hadoop集群高可用的搭建
最新发布
05-31
在构建Hadoop集群时，高可用（High Availability, HA）是一个关键特性，它旨在消除单点故障，确保服务的连续性和稳定性。本文将详细介绍如何在Hadoop 2.x版本中搭建HDFS-HA（Hadoop Distributed File System - High ...
Hadoop集群的使用与管理.pdf
10-30
《Hadoop集群的使用与管理详解》 Hadoop作为一个分布式计算框架，其集群的管理和使用是运维工作中至关重要的一环...理解并熟练掌握这些知识点，将有助于构建稳定、高效的Hadoop集群，为企业的大数据处理提供坚实基础。
9、hadoop高可用HA集群部署及三种方式验证
05-29
6. 启动Hadoop集群，包括DataNode、NameNode、Zookeeper等服务。 **三、HA集群验证** 验证Hadoop HA集群的正确性有三种常见方法： 1. **Web界面验证**：通过NameNode的HTTP地址访问HDFS Web UI，确认两个NameNode...
构建一个跨机房的Hadoop集群.rar
09-06
总结来说，构建一个跨机房的Hadoop集群是一项复杂但必要的任务，涉及到网络、存储、计算、安全等多个方面。通过精心设计和精细调优，我们可以创建一个高可用、高容错的分布式计算平台，为大数据分析提供强大支持。
hadoop datanode异常：UnregisteredDatanodeException
weixin_34151004的博客
03-30 81
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop启动时datanode启动失败
qq_37618154的博客
07-03 983
1. Incompatible clusterIDs hadoop的data-node在它的版本文件里存储一个永久性的clusterID，当datanode启动时会检查并匹配namenode的版本文件里的clusterID，如果两者不匹配，就会出现"Incompatible clusterIDs"的异常。 　　每次格式化namenode都会生成一个新的clusterID, 如果只格式化了namenode，没有格式化此datanode， 就会出现”java.io.IOException: Incompatib
各个datanode的storageID不一样，导致启动datanode不成功。
tbdp6411的专栏
04-24 3118
我们在启动hadoop各个节点时，启动namenode和datanode，这个时候如果
Hadoop 获取Active Namenode的IP地址
天道酬勤的博客
08-23 8886
由于工作需要，需要拿到当前集群的Active Namenode的Ip地址，所以写以下小代码，防止忘记，记录一下： import java.io.IOException; import java.net.InetSocketAddress; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.f...
解决DataNode的ID相同导致开启集群查看Web界面其他节点未能连接成功
qq_45739020的博客
11-08 439
查看 vim /etc/hosts主机ip和节点的映射关系是否正确 查看 cd export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/ 在打开vim slaves 是否添加节点 如果是克隆的话那么克隆的话DataNode的ID一定是相同的，会导致Web界面，识别出两个一种的唯一ID，解决办法在主节点关闭集群，在克隆的节点删除hadoopDatas...
hadoop2 namonode为HA 得到hadoop的active namenode具体地址代码
辉子的博客
07-07 2126
因为某些原因需要从namenode HA中取到active namonode 的具体地址，写了以下的代码 package com.zhang.test; import java.io.IOException; import java.net.InetAddress; import java.net.InetSocketAddress; import org.apache.
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration
chunguo.wang
02-16 514
2012-02-15 23:56:39,566 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.1.10:50010, storageID=DS-1805552415-192.168.1.10-50010-1328076157099, infoPort=50075, ipcPort...
3.hadoop源码分析：datanode的注册分析
colossus——bigdata的专栏
03-02 1026
1.Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。 2.Pig的数据处理语言是数据流方式的，类似于初中做的数学题。 3.Pig基本数据类型：int、long、float、double、chararry、bytearray 复合数据类型：Map、Tuple、Bag ...
10-Hadoop部署多机HDFS+HA+YARN1
08-04
1. 集群环境的节点分布 2. 演示修改主机名 3. 演示配置 hosts 文件 4. 演示免密码登录

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值