多目录设置
NameNode多目录设置
namenode的本地目录可以配置成多个,且每个目录存放内容相同,增加了可靠性。
操作流程
1)配置hdfs-site.xml新增下述内容
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
</property>
配置成功后,将hdfs-site.xml分发给集群中所有节点
2)停止集群
3)删除data和logs目录下文件
# rm-rf data/ logs/
4)格式化namenode
5)重新启动
DataNode多目录设置
datanode也可以配置成多个目录,每个目录存储的数据不一样。即:数据不是副本。
1)配置hdfs-site.xml新增下属内容
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>
2)其他步骤与NameNode多目录设置相同
安全模式
概述
Namenode启动时,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的fsimage文件和一个空的编辑日志。此时,namenode开始监听datanode请求。但是此刻,namenode运行在安全模式,即namenode的文件系统对于客户端