HDFS 存储多目录及注意事项

一、HDFS 为什么要配置多目录存储

正常情况下，一台机器只有一块硬盘是不够的，会造成 HDFS 存储空间紧张，因此需要对 DataNode 进行磁盘扩展

二、配置 HDFS 多目录存储

1.首先要看一下机器上的磁盘使用情况

注意，这里一共有 4 个目录可以提供存储空间，即：/、/hd3、/hd4、/hd2

2.在 hdfs-site.xml 文件中配置多目录，这里需要注意新挂载磁盘的访问权限问题

<property>
    <name>dfs.datanode.data.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
</property>

注意，hdfs-site.xml 文件配置 value 中的 file，要对应磁盘中已有的存储目录，即：/、/hd3、/hd4、/hd2。别没有的还往上写，瞎