hadoop集群balance工具详解

最新推荐文章于 2024-06-04 10:53:02 发布

azhao_dn

最新推荐文章于 2024-06-04 10:53:02 发布

阅读量2.6w

点赞数

分类专栏： hadoop EasyHadoop 文章标签： hadoop 工具集群 each 存储服务器

本文链接：https://blog.csdn.net/azhao_dn/article/details/7741666

版权

本文详细介绍了Hadoop集群中的平衡工具，该工具用于优化datanode间文件块的分布，防止磁盘占用率过高导致的问题。内容涵盖工具的用法，包括threshold参数和dfs.balance.bandwidthPerSec参数的解释，以及平衡过程的特点，如迭代移动文件块的策略和限制。

摘要由CSDN通过智能技术生成

在线上的hadoop集群运维过程中，hadoop 的balance工具通常用于平衡hadoop集群中各datanode中的文件块分布，以避免出现部分datanode磁盘占用率高的问题（这问题也很有可能导致该节点CPU使用率较其他服务器高）。

1） hadoop balance工具的用法：

To start:
bin/start-balancer.sh [-threshold <threshold>]
Example: bin/ start-balancer.sh
start the balancer with a default threshold of 10%
bin/ start-balancer.sh -threshold 5
start the balancer with a threshold of 5%

To stop:
bin/ stop-balancer.sh

2）影响hadoop balance工具的几个参数：

-threshold 默认设置：10，参数取值范围：0-100，参数含义：判断集群是否平衡的目标参数，每一个 datanode 存储使用率和集群总存储使用率的差值都应该小于这个阀值，理论上，该参数设置的越小，整个集群就越平衡，但是在线上环境中，hadoop集群在进行balance时，还在并发的进行数据的写入和删除，所以有可能无法到达设定的平衡参数值。

dfs.balance.bandwidthPerSec 默认设置：1048576（1 M/S），参数含义：设置balance工具在运行中所能占用的带宽