hadoop节点添加与删除操作

本文详细介绍了在Hadoop集群中添加和删除节点的步骤,包括配置新节点、更新集群配置、处理数据节点冲突以及执行refreshNodes操作。在添加节点时,遇到storage ID冲突的问题,解决方案是删除新节点的数据并重启datanode。删除节点则涉及修改多个配置文件并创建excludes文件。
摘要由CSDN通过智能技术生成

如何添加节点?

大概配置思路:

1、在新节点中进行操作系统的配置,包括主机名配置,防火墙,网络,免密登陆和安装JDK等

2、在所有的节点的/etc/hosts文件中增加新节点

3、把namenode的有关配置文件复制到该节点

4、修改master节点的slaves文件,增加该节点

5、单独启动该节点上的datanode和NodeManager

6、运行start-balancer.sh进行数据负载均衡操作

具体操作请参考:https://www.cnblogs.com/skyl/p/4854654.html 

 

问题整理:

      org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException): Data node DatanodeRegistration(10.0.0.105:50010, datanodeUuid=0dbe01f9-164e-4549-83df-b3cd171748e6, infoPort=50075, infoSecurePort=0, ipcPort=50020, storageInfo=lv=-56;cid=CID-1ee9c2cb-c39d-4fc8-9664-7ff3140c3e54;nsid=1540022242;c=0) is attempting to report storage ID 0dbe01f9-164e-4549-83df-b3cd171748e6. Node 10.0.0.102:50010 i

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值