hadoop集群一台机器多块磁盘存储不均问题

在hdfs-site.xml 配置文件按下面三个步骤添加参数。添加完同步至datanode节点。

1、数据存储磁盘参数设置多个磁盘目录

剩余磁盘空间大的在前面

 <property>
        <name>dfs.data.dir</name>
        <value>/data1/dfs/dn,/mnt1/dfs/dn1,/mnt2/dfs/dn</value>
</property>

2、datanode多存储硬盘设置数据副本存放策略

第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java

第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeChoosingPolicy.java

hdfs-site.xml的配置样例：

<property>
    <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
    <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
</property>
<property>
     <name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold</name>
     <!--100G -->
     <value>107374182400</val