Hadoop 教程 - Hadoop HDFS NAMENODE 安全模式#1. HDFS NAMENODE 安全模式

Hadoop HDFS NameNode的安全模式是一个特殊状态，旨在保护文件系统的完整性，尤其是在系统启动或恢复过程中。以下是关于HDFS NameNode安全模式的详细说明：

安全模式的原理与目的

1. 启动过程中的安全模式：当HDFS集群启动时，NameNode会首先进入安全模式。此时，它不会执行任何文件系统的修改操作，比如创建、删除、移动或重命名文件和目录。安全模式的主要目的是等待所有的DataNode报告它们所持有的数据块信息，从而确保NameNode具有最新的文件系统元数据视图。

2. 数据块检查：NameNode会比较DataNode上报的块信息与自己的元数据记录，检查数据块的副本数量是否满足最小副本数要求（默认为3），以确保数据的可靠性。如果发现数据块丢失比例超过阈值（默认是0.01%，可配置），NameNode会延长安全模式时间，直到情况改善。

3. 自动退出条件：一旦大多数数据块都符合副本要求，NameNode会自动退出安全模式，进入正常操作状态。退出条件可以通过配置参数dfs.safemode.threshold.pct来设定，该参数定义了数据块满足最小副本数的比例，当达到此比例时，安全模式将结束。

4. 手动管理：管理员也可以手动控制安全模式的进入和退出。使用hdfs dfsadmin -safemode命令，可以查询安全模式状态、进入安全模式、离开安全模式或等待安全模式自动结束。

安全模式下的操作限制

• 在安全模式下，HDFS对客户端来说是只读的，可以执行诸如浏览目录（ls）、创建目录（mkdir）等不涉及文件内容变更的操作，但不能进行写入、删除或修改文件等操作。

配置与调整

• 相关的配置文件主要是hdfs-site.xml，其中可以调整安全模式的阈值、超时时间等参数。

实际应用场景

• 系统启动：确保集群稳定后再开放写操作，避免数据不一致。
• 故障恢复：在DataNode故障后，等待数据块复制完成，保证数据的冗余度。
• 手动维护：管理员在进行大规模数据操作或维护前，可手动进入安全模式，以防数据损坏。

综上所述，HDFS NameNode的安全模式是一种保护机制，确保集群数据的完整性，特别是在系统启动、恢复或维护期间。正确理解和运用安全模式是管理和运维Hadoop集群的重要环节。