HDFS如何保证数据不丢失 ？

HDFS（Hadoop Distributed File System）采用了多种机制来确保数据的安全性和不丢失，主要包括以下几点：

1. 数据复制（Replication）

• 副本策略：HDFS通过在多个DataNode上复制数据块来防止数据丢失。默认情况下，每个数据块会有三个副本（一个主副本和两个副本），分布在不同的节点上。
• 跨机架复制：为了进一步提高容错性，这些副本通常会分布在不同的机架上。如果一个机架发生故障，其他机架上的副本可以用来恢复数据。

2. 心跳和健康检查（Heartbeat and Health Check）

• 节点监控：DataNode会定期向NameNode发送心跳信号，表明它是活跃的。如果NameNode在配置的时间间隔内没有收到某个DataNode的心跳，它会认为这个节点已经失败。
• 副本检查和恢复：一旦检测到DataNode失败，NameNode会启动副本恢复过程，确保每个数据块都保持在配置的副本数。

3. 元数据备份（Metadata Backup）

• 持久化存储：NameNode存储有关文件系统的所有元数据，包括文件和目录信息、数据块到DataNode的映射等。这些信息被持久化存储在磁盘上。
• 二次NameNode：作为额外的安全措施，HDFS引入了Secondary NameNode，它定期从NameNode下载其状态，并在系统故障时提供恢复点。

4. 安全模式（Safe Mode）

• 启动时的数据校验：在启动过程中，NameNode进入安全模式，在这个模式下，它会检查数据块的健康状况和副本数量。只有在足够数量的数据块可用时，NameNode才会退出安全模式，开始正常的操作。

5. 数据校验（Data Validation）

• 校验和：HDFS在存储数据时会计算数据的校验和。在读取数据时，会检查这个校验和，以确保数据在传输或存储过程中没有被损坏。

通过这些机制，HDFS能够在面对硬件故障、网络问题和其他常见故障时，保护数据不丢失，确保数据的高可用性和可靠性。