Hadoop中namenode的安全模式

在启动namenode时，会首先进入安全模式（safemode）。在safemode中，HDFS是不被允许进行操作的，这段时间，HDFS会检查datanode上面的块是否被损坏，若块丢失或被损坏，会修复被损坏的块，但如果损坏的太多，则namenode会一直处在安全模式，从而导致HDFS不能操作。一般遇到这种问题，等待片刻便会自动退出安全模式，但凡事总有不一般的时候，当块损坏的太多而无法修复时，namenode会始终处于安全模式，这时也可以用命令强行退出安全模式。

namenode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项编辑操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件（该操作不需要借助secondary namenode）和一个空的编辑日志。在这个过程中，namenode运行中安全模式，意味着namenode的文件系统对于客户端来说是只读的。

严格来说，在安全模式下，只有那些访问文件系统元数据的文件系统操作是肯定成功执行的，例如显示目录列表等。对于读文件操作来说，只有集群中当前datanode上的块可用时，才能够工作。但文件修改操作（包括写、删除或重命名）均会失败。

需要强调的是，系统中数据块的位置并不是由namenode维护的，而是以块列表的形式存储在datanode中（每个datanode存储的块组成的列表）。在系统的正常操作期间，namenode会在内存中保留所有块位置的映射信息。在安全模式下，各个datanode会向namenode发送最新的快列表信息，namenode了解到足够多的块位置信息之后，即可高效运行文件系统。如果namenode认为向其发送更新信息的datanode节点过少，则它会启动快复制进程，以将数据块复制到新的datanode节点。然而，在大多数情况下上述操作都是不必要的（因为实际上namenode只需继续等待更多datanode发送更新信息即可），并浪费了集群的资源。实际上，在安全模式下namenode并不向datanode发送任何块复制或块删除的指令。

如果满足“最小副本条件”（minimal replication condition），namenode会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中有99.9%的块满足最小副本级别（默认值是1，由dfs.namenode.replication.min属性设置）。

安全模式的属性：

属性名称	类型	默认值	说明
dfs.namenode.replication.min	int	1	成功执行写操作所需要创建的最小副本数目（也称为最小副本级别）
dfs.namenode.safemode.threshold-pct	float	0.999	在namenode退出安全模式之前，系统中满足最小副本级别（由dfs.namenode.replication.min定义）的块的比例。将这项值设为0或更小会令namenode无法启动安全模式；设为高于1则永远不会退出安全模式
dfs.namenode.safemode.extension	int	30000	在满足最小副本条件（由dfs.namenode.safemode.threshold-pct定义）之后，namenode还需要处于安全模式的时间（以毫秒为单位）。对于小型集群（几十个节点）来说，这项值可以设为0

在启动一个刚刚格式化的HDFS集群时，因为系统中还没有任何块，所以namenode不会进入安全模式。

进入和离开安全模式

要想查看namenode是否处于安全模式，可以执行：

hdfs dfsadmin -safemode get

（我这里是用117和116两台服务器做了namenode的HA）

有时，用户期望在执行某条命令之前namenode先退出安全模式，特别是在脚本中。使用wait选项来实现：

hdfs dfsadmin -safemode wait

管理员随时可以让namenode进入或离开安全模式。这项功能在维护和升级集群时非常关键，因为需要确保数据在指定时段内是只读的。使用以下命令进入安全模式：

hdfs dfsadmin -safemode enter

前面提到过，namenode在启动阶段会处于安全模式。在此期间也可使用这条命令，从而确保namenode在启动完毕之后不离开安全模式。另一种使namenode永远处于安全模式的方法是将属性dfs.namenode.safemode.threshold-pct的值设为大于1。

运行以下指令可使namenode离开安全模式：

hdfs dfsadmin -safemode leave

完毕。