HDFS-多目录

NameNode 多目录配置

1）NameNode 的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性

 2 ）具体配置 如下
（1）在 hdfs-site.xml 文件中添加如下内容

<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.
dir}/dfs/name2</value>
</property>

注意：因为每台服务器节点的磁盘情况不同，所以这个配置配完之后，可以选择不分发

（2）停止集群，删除三台节点的 data 和 logs 中所有数据。

rm -rf data/ logs/

（3）格式化集群并启动。

bin/hdfs namenode -format

 大家可以分别去name1和name2中查看，内容是一样的

 DataNode  多目录配置

1 ）DataNode 可以配置成多个目录， 每个 目录存储的数据不一样（数据不是副本）

 2 ）具体配置 如下
在 hdfs-site.xml 文件中添加如下内容

<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2</value>
</property>

如上操作，停止-删除-格式-启动

3）查看结果

 4 ）致 向集群上传一个文件，再次观察两个文件夹里面的内容发现不一致（一个有数一个没有）

 

集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x 新特性）

（1）生成均衡计划（ 我们只有一块磁盘，不会生成计划）

hdfs diskbalancer -plan hadoop103

（2）执行均衡计划
hdfs diskbalancer -execute hadoop103.plan.json
（3）查看当前均衡任务的执行情况
hdfs diskbalancer -query hadoop103
（4）取消均衡任务
hdfs diskbalancer -cancel hadoop103.plan.json