配置datanode block存放目录的时候,机器多磁盘能分摊磁盘IO负载,以下配置
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/data2/hadoop/hd_space/dfs/data,file:/data3/hadoop/hd_space/dfs/data.........</value>
</property>
<property>
<name>dfs.datanode.fsdataset.volume.choosing.policy</name><value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
<description>
datanode数据副本存放的磁盘选择策略,有2种方式一种是轮询方式(org.apache.hadoop.hdfs.server.datanode.fsdataset.RoundRobinVolumeChoosingPolicy,为默认方式),
另一种为选择可用空间足够多的磁盘存储方式,这个为了防止各个节点上的各个磁盘的存储均匀采用这个方式。
</description>
</property>
<property>
<name>dfs.datanode.availa