hadoop2.0的datanode多目录数据副本存放策略

置顶

快乐程序员

于 2014-10-11 12:57:25 发布

阅读量8.8k

点赞数 2

分类专栏： hadoop2.0 hdfs 文章标签： hdfs 磁盘选择策略

本文链接：https://blog.csdn.net/bigdatahappy/article/details/39992075

版权

Hadoop2.0提供了两种datanode数据副本存放策略：磁盘目录轮询和选择空间充足磁盘。默认为轮询策略，可能导致磁盘使用不均衡。推荐配置为空间选择策略，通过`dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold`和`dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction`参数调整平衡磁盘空间利用率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式：

第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java

第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeChoosingPolicy.java

选择策略对应的配置项是：

  <property>
    <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
    <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
  </property>

如果不配置，默认使用第一种方式，既轮询选择磁盘来存储数据副本，但是轮询的方式虽然能够保证所有磁盘都能够被使用，但是经常会出现各个磁盘直接数据存储不均衡问题，有的磁盘存储得很满了，而有的磁盘可能还有很多存储空间没有得到利用，所有在hadoop2.0集群中，最好将磁盘选择策略配置成第二种，根据磁盘空间