HDFS服务器间数据均衡

在企业Hadoop开发中,频繁在特定节点提交任务可能导致数据分布不均。当节点间数据量差异超过10%时,可使用`start-balancer.sh-threshold10`命令启动数据均衡,确保集群中各节点磁盘空间利用率差距不超过10%。注意,执行数据均衡应避免在NameNode上进行,而应在空闲机器上操作。
摘要由CSDN通过智能技术生成

        在企业开发中,如果经常在hadoop102和hadoop104上提交任务,且副本数为2,由于数据本地性原则,就会导致hadoop102和hadoop104数据过多,hadoop103存储的数据量小。

        另一种情况,就是新服役的服务器数据量比较少,需要执行集群均衡命令。

 开启数据均衡命令

sbin/start-balancer.sh -threshold 10

 对于参数10,代表的是集群中各个节点的磁盘空间利用率相差不超过10%,可根据实际情况进行调整。

停止数据均衡命令

sbin/stop-balancer.sh

注意:由于HDFS需要启动单独的Rebalance Server来执行Rebalance操作,所以尽量不要在NameNode上执行start-balancer.sh,而是找一台比较空闲的机器

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值