在hdfs-site.xml 配置文件按下面三个步骤添加参数。添加完同步至datanode节点。
1、数据存储磁盘参数设置多个磁盘目录
剩余磁盘空间大的在前面
<property>
<name>dfs.data.dir</name>
<value>/data1/dfs/dn,/mnt1/dfs/dn1,/mnt2/dfs/dn</value>
</property>
2、datanode多存储硬盘设置数据副本存放策略
第一种是沿用hadoop1.0的磁盘目录轮询方式,实现类:RoundRobinVolumeChoosingPolicy.java
第二种是选择可用空间足够多的磁盘方式存储,实现类:AvailableSpaceVolumeChoosingPolicy.java
hdfs-site.xml的配置样例:
<property>
<name>dfs.datanode.fsdataset.volume.choosing.policy</name>
<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
</property>
<property>
<name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold</name>
<!--100G -->
<value>107374182400</val