hadoop关于dfs.datanode.data.dir下多个目录不均衡问题

最新推荐文章于 2022-08-18 20:28:33 发布

milyhj123

最新推荐文章于 2022-08-18 20:28:33 发布

阅读量9.2k

点赞数 2

分类专栏： hadoop

本文链接：https://blog.csdn.net/milyhj123/article/details/77992528

版权

本文介绍了Hadoop中dfs.datanode.data.dir配置用于设置DataNode节点存储数据块的本地路径，并讨论了由于数据量增加可能导致的磁盘空间不均衡问题。通过调整dfs.datanode.fsdataset.volume.choosing.policy为AvailableSpaceVolumeChoosingPolicy策略，配合dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold和dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction参数，可以根据磁盘可用空间优先分配数据，从而平衡各磁盘的数据存储。

摘要由CSDN通过智能技术生成

hadoop的dfs.datanode.data.dir是设置datanode节点存储数据块文件的本地路径，通常可以设置多个，用逗号隔开：

<property>
<name>dfs.datanode.data.dir</name>
<value>/var/local/dfs-data,/usr/local/hadoop/dfs-data</value>
</property>

但随着数据量的增多，有可能会导致磁盘空间不均衡。

当前hadoop写入文件有两种策略，一种是默认的轮询方式，一种是根据可用空间的大小来判断写入。

配置参数：

<property>
<name>dfs.datanode.fsdataset.volume.choosing.policy</name>
<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
</property>

此项配置是根据磁盘的可用空间来优先写入的策略。一般需要配合一下两个参数来使用：

dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold
默认值是10737418240，既10G，一般使用默认值就行，以下是该选项的官方解释：
This setting controls how much DN volumes are allowed to differ in terms of bytes of free disk space before they