HDFS-Namenode和Datanode多目录配置

1.Namenode多目录配置

Namenode数据（操作日志文件，镜像文件等）存储路径可以配置多个不同路径，这些路径里面存储的数据相同。主要用作数据备份。
在hdfs-site.xml中配置如下信息：

<property>
        <name>dfs.namenode.name.dir</name>
 <value>file:/usr/local/hadoop/data/dfs/name1,file:/usr/local/hadoop/data/dfs/name2</value>
</property>

配置后namenode数据在两个路径下分别存储：

2.Datanode多目录配置

Datanode 是存储数据的节点，数据在磁盘中存储的路径可以配置多个。这多个路径的数据不相同。

2.1 Datanode配置多目录的必要性

随着集群的存储数据增大，导致datanode配置的存储空间可能被撑爆。这时可以通过挂载新的磁盘，来解决datanode存储空间不足的问题。挂载新的磁盘信息就需要给datanode配置一个新的存储目录。

2.2 Datanode配置多目录

在hdfs-site.xml中如下属性中配置多个datanode存储的磁盘空间路径，多个路径使用逗号隔开。

<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/data/dfs/data1,file:/usr/local/hadoop/data/dfs/data2</value>
</property>

2.2 Datanode多目录数据平衡

设置datanode多个存储目录，随着数据的增加，可能会出现多个存储磁盘数据不平衡的问题。Hadoop有两种策略来解决这个问题。一种是轮询方式，一种是根据可用空间大小来判断写入。默认是采用轮询方式。
配置多目录写入策略：

<property>  
  <name>dfs.datanode.fsdataset.volume.choosing.policy</name>  
 <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>  
</property>

官方描述：
dfs.datanode.fsdataset.volume.choosing.policy
The class name of the policy for choosing volumes in the list of directories. Defaults to org.apache.hadoop.hdfs.server.datanode.fsdataset.RoundRobinVolumeChoosingPolicy. If you would like to take into account available disk space, set the value to "org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy

当选择的策略为“可用空间大小判断”时。具体写入策略还会收到下面两个参数的影响

dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold

默认值10g。
表示当所有磁盘的中最大的空间和最小的空间相差小于该配置项，就采用轮询方式存储数据。

dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction

默认值0.75f。
表示有多少比例的数据副本存储到剩余空间足够多的磁盘上。取值范围0-1.0，一般取0.5-1.0之间。

3.启动namenode和datanode多目录配置集群

1.删除集群所有节点路径hadoop/data下的所有文件。

/usr/local/hadoop/data$ rm -r *

2.格式化namenode

/usr/local/hadoop/bin$ ./hadoop namenode -format

3.分别启动集群hdfs和yarn
启动hdfs:

/usr/local/hadoop/sbin$ ./start-dfs.sh

启动yarn:

/usr/local/hadoop/sbin$ ./start-yarn.sh