HDFS容量的调整



在Hadoop中，数据文件放在HDFS上，每个DataNode的的数据文件存放的位置通过DataNode的hdfs-site.xml的属性dfs.data.dir设定，因此该属性指定的目录的空间容量决定了每个DataNode的容量，从而决定了HDFS的总容量。

在CentOS，IDH(Intel Distributtion Hadoop)默认情况下设定的dfs.data.dir的属性值为/var/hadoop/data。在默认情况下，该目录分配的空间只有50G，因此在配置集群的时候一定要注意指定DataNode的dfs.data.dir值，指定的值必须是具有最大空间的挂载点上的目录，并且登录用户对该目录具有完全的控制能力。如果该目录操作权限不足，则无法完成启动集群服务。

   如果因为设计问题，需要对 dfs.data.dir 重新指定，则在指定好后，一定要对集群进行重新格式，并且要保证格式化成功，才能保证后续服务的正常启动。这样一来，就会把原有的数据格式化掉，因此在集群安装的时候务必注意 dfs.data.dir 属性的指定