hadoop扩容与下线

1、下线退役datanode nodemanager

a、下线datanode节点
修改 hadoop/etc/hadoop/slaves 文件
分发到所有机器
在执行datanode下线命令
hdfs dfsadmin -refreshNodes
检查
hdfs dfsadmin -report
yarn node -list

Decomissioning标记的即为正在下线的datanode,hadoop集群会尽快的将要下线的datanode数据块复制到其他节点上
复制完成之后会变成Decommission Status : Decommissioned,此时可以下线此datanode

b、下线nodemanager
修改hadoop/etc/hadoop/nodemanagers 文件
分发到所有机器
在active resourcemanager 执行nodemanager下线命令
yarn rmadmin -refreshNodes

扩容datanode
取消raid 每个目录创建hadoop文件目录

查看resourcemanager 状态
yarn rmadmin -getServiceState ip1

启动blance
sh start-balancer.sh -threshold 5 默认10
hdfs dfsadmin -setBalancerBandwidth 52428800 带宽50M 默认1M

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值