Hadoop-HDFS（七） hadoop 的安全模式

7 hadoop  的安全模式

7.1 工作流程( 理解)

1. 启动 NameNode，NameNode 加载 fsimage 到内存，对内存数据执行 edits log 日志中的事务操作。

2. 文件系统元数据内存镜像加载完毕，进行 fsimage 和 edits log 日志的合并，并创建新的 fsimage 文件和一个空的 edits log 日志文件。

3. NameNode 等待 DataNode 上传 block 列表信息，直到副本数满足最小副本条件。

4. 当满足了最小副本条件，再过 30 秒，NameNode 就会退出安全模式。最小副本条件指整个文件系统中有 99.9%的 block 达到了最小副本数（默认值是 1，可设置）

在 NameNode 安全模式（safemode）

1. 对文件系统元数据进行只读操作

2. 当文件的所有 block 信息具备的情况下，对文件进行只读操作

3. 不允许进行文件修改（写，删除或重命名文件）

7.2 注意事项

1. NameNode 不会持久化 block 位置信息；DataNode 保有各自存储的 block 列表信息。正常操作时，NameNode 在内存中有一个 blocks 位置的映射信息（所有文件的所有文件块的位置映射信息）。

2. NameNode 在安全模式，NameNode 需要给 DataNode 时间来上传 block 列表信息到NameNode。如果 NameNode 不等待 DataNode 上传这些信息的话，则会在 DataNode之间进行 block 的复制，而这在大多数情况下都是非必须的（因为只需要等待DataNode 上传就行了），还会造成资源浪费。

3. 在安全模式 NameNode 不会要求 DataNode 复制或删除 block。

4. 新格式化的 HDFS 不进入安全模式，因为 DataNode 压根就没有 block。

7.3 配置信息

属性名称	类型	默认值	描述
dfs.namenode.replication.min hdfs-site.xml	Int	1	写文件成功的最小副本数
dfs.namenode.safemode.threshold-pct	float	0.999	系统中block达到了最小副本数的比例 ， 之 后NameNode 会退出安全模式。小于等于 0 表示不进入安全模式，大于 1 表示永不退出安全模式
dfs.namenode.safemode.extension	int ms	30000	当副本数达到最小副本条件之后安全模式延续的时间。对于小的集群（几十个节点），可以设置为 0

7.4 命令操作( 了解)

通过命令查看 namenode 是否处于安全模式：
             $ hdfs dfsadmin -safemode get
             Safe mode is ON

HDFS 的前端 webUI 页面也可以查看 NameNode 是否处于安全模式。

有时候我们希望等待安全模式退出，之后进行文件的读写操作，尤其是在脚本中，此时：
             $ hdfs dfsadmin -safemode wait
             # your read or write command goes here

管理员有权在任何时间让 namenode 进入或退出安全模式。进入安全模式：
             $ hdfs dfsadmin -safemode enter
             Safe mode is ON

这 样 做 可 以 让 namenode 一 直 处 于 安 全 模 式 ， 也 可 以 设 置dfs.namenode.safemode.threshold-pct 为 1 做到这一点。

离开安全模式：
              $ hdfs dfsadmin -safemode leave
              Safe mode is OFF