linux使用了多块磁盘,如何配置可以使每块磁盘都高效使用
在hdfs-site.xml文件中配置多目录,注意新挂载磁盘的访问权限问题
HDFS的DataNode节点保存数据的路径由 dfs.datanode.data.dir 参数决定,其默认值为 file://${hadoop.tmp.dir}/dfs/data ,若服务器有多个磁盘,必须对该参数进行修改。使用 df -h 查看服务器磁盘情况,如服务器磁盘有四个,则对该参数修改为如下的值:
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
</property>
如果磁盘已经出现数据倾斜,通过以下方法达到磁盘均衡
hdfs diskbalancer -plan hadoop103
hdfs diskbalancer -execute hadoop103.plan.json
hdfs diskbalancer -query hadoop103
hdfs diskbalancer -cancel hadoop103.plan.json