HDFS存储多目录
若HDFS存储空间紧张,需要对DataNode进行磁盘扩展。
-
在DataNode节点增加磁盘并进行挂载。
-
在hdfs-site.xml文件中配置多目录,注意新挂载磁盘的访问权限问题。
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
</property>
- 增加磁盘后,保证每个目录数据均衡
开启数据均衡命令:
start-balancer.sh –threshold 10
对于参数10,代表的是集群中各个节点的磁盘空间利用率相差不超过10%,可根据实际情况进行调整。
停止数据均衡命令:
stop-balancer.sh
版权声明:
作者:十下
链接:https://blog.edkso.cn/?p=448
来源:十下博客
文章版权归作者所有,未经允许请勿转载。