Hadoop之——重新格式化HDFS的方案

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/72857449

了解Hadoop的同学都知道，Hadoop有两个核心的组成部分，一个是HDFS，另一个则是MapReduce，HDFS作为Hadoop的数据存储方案，MapReduce则提供计算服务；同时，HDFS作为一种分布式文件系统，它的安装也是需要相应的格式化操作的，如果安装失败或者我们需要重新安装的时候，那我们就需要对HDFS重新进行格式化，这篇文章就和大家一起讨论下如何进行HDFS的重新格式化。

注意：重新格式化前不要忘记备份数据。

重新格式化hdfs系统的方法：

1、打开hdfs-site.xml

我们打开Hadoop的hdfs-site.xml，基本配置如下所示：

<property>
   <name>dfs.name.dir</name>
   <value>/usr/local/hadoop/hdfs/name</value>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/usr/local/hadoop/hdfs/data</value>
</property>

 将 dfs.name.dir所指定的目录删除、dfs.data.dir所指定的目录删除，即我们需要删除hdfs-site.xml中配置的存储信息路径。

也可以使用dfs.namenode.name.dir和dfs.datanode.data.dir这两个属性

<property>
   <name>dfs.namenode.name.dir</name>
   <value>/usr/local/hadoop/hdfs/name</value>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
   <value>/usr/local/hadoop/hdfs/data</value>
</property>

同样，将 dfs.namenode.name.dir所指定的目录删除、dfs.datanode.data.dir所指定的目录删除

 2、删除core-site.xml配置文件指定的相关目录

 <property>
 	<name>hadoop.tmp.dir</name>
 	<value>/usr/local/hadoop/hadooptmp</value>
 </property>

 将hadoop.tmp.dir所指定的目录删除，即删除Hadoop的临时文件路径。

3、重新执行命令：hadoop namenode -format

格式化完毕。
这种格式化HDFS的方式是需要把原来HDFS中的数据全部清空，然后再格式化并安装一个全新的HDFS。
注：这种格式化方式需要将HDFS中的数据全部清空，以后我们探讨不需删除数据即可重新格式化的方法。