HDFS生产环境做rebalacne的坑

zxfBdd

于 2024-01-17 11:57:58 发布

阅读量103

点赞数

原文链接：https://blog.51cto.com/wsxxsl/2770683

版权

大数据专栏收录该内容

590 篇文章 29 订阅

订阅专栏

新上硬盘或者下架硬盘 hdfs 需要重新做rebalance 重新平衡数据，但是你会发现特别慢，原因是数据同步的速度默认仅仅为10Mbps 集群所有最新命令

HDFS生产环境做rebalacne的坑_HDFS生产环境做rebalacne的坑

HDFS生产环境做rebalacne的坑_HDFS生产环境做rebalacne的坑_02

HDFS生产环境做rebalacne的坑_HDFS生产环境做rebalacne的坑_03

HDFS生产环境做rebalacne的坑_HDFS生产环境做rebalacne的坑_04

dfs.datanode.balance.bandwidthPerSec (dfs.balance.bandwidthPerSec)

　　每个 DataNode 可用于平衡的最大带宽。单位为字节/秒。以每秒字节数的形式指定每个数据节点可用于平衡目的的最大带宽量。您可以使用以下后缀（不区分大小写）：k（kilo）、m（mega）、g（giga）、t（tera）、p（peta）、e（exa）指定大小（例如128k、512m、1g等）。或者以字节为单位提供完整的大小（例如，对于128 MB，134217728）。默认是10M，我们知道服务器现在都是万兆网卡了，交换机对应端口也是10G网口的话，也就是说我们最大可以设置1.25G带宽。但是我们得考虑其他服务的传输效率，不能把所有的带宽都被DataNode 平衡数据所占用啦！推荐设置为128M～512M。

　　HDFS平衡器检测集群中使用过度或者使用不足的DataNode，并在这些DataNode之间移动数据块来保证负载均衡。如果不对平衡操作进行带宽限制，那么它会很快就会抢占所有的网络资源，不会为Mapreduce作业或者数据输入预留资源。参数dfs.balance.bandwidthPerSec定义了每个DataNode平衡操作所允许的最大使用带宽，这个值的单位是byte，这是很不直观的，因为网络带宽一般都是用bit来描述的。因此，在设置的时候，要先计算好。DataNode使用这个参数来控制网络带宽的使用，但不幸的是，这个参数在守护进程启动的时候就读入，导致管理员没办法在平衡运行时来修改这个值