HDFS（Hadoop Distributed File System）

HDFS（Hadoop Distributed File System）工作原理简介

HDFS 是 Hadoop 的核心组件，设计用于在大规模分布式环境中存储和处理海量数据。以下是其主要工作原理：

---

1. 架构组成

HDFS 采用主从架构，由以下两类关键节点组成：

• NameNode（主节点）：
  • 管理文件系统的元数据，包括文件目录结构、文件与数据块的映射、数据块的存储位置等。
  • 负责文件系统命名空间的操作，如打开、关闭、重命名文件和目录。
• DataNode（从节点）：
  • 存储实际的数据块。
  • 按 NameNode 的指令执行数据块的读写操作。

---

2. 文件存储

• 分块存储：
  • 文件被分成大小固定的数据块（默认 128 MB），每个块被分布存储在集群中的多个 DataNode 上。
  • 每个数据块在多个节点上存储副本（默认 3 副本），以提高数据可靠性和容错能力。
• 副本机制：
  • NameNode 确定每个数据块的存储位置，并管理副本分布策略（通常一个副本在本地节点，一个在同一机架内，另一个在不同机架）。

---

3. 读写数据

• 写数据：
  1. 客户端向 NameNode 请求创建文件。
  2. NameNode 分配数据块的存储位置。
  3. 客户端按顺序将数据写入多个 DataNode。
  4. NameNode 更新元数据，记录文件与数据块的映射关系。
• 读数据：
  1. 客户端向 NameNode 请求读取文件。
  2. NameNode 返回文件对应的数据块及其存储位置。
  3. 客户端直接从相应的 DataNode 拉取数据。

---

4. 容错与高可用性

• 副本管理：
  • 当 DataNode 故障或副本丢失时，NameNode 会自动触发副本再生成。
• 心跳机制：
  • DataNode 定期向 NameNode 发送心跳与块报告，以告知其运行状态和数据块信息。
• 高可用性（HA）：
  • 引入 Standby NameNode，确保主 NameNode 故障时服务不中断。

---

5. 优点与适用场景

• 优点：
  • 高容错性：通过副本机制和分布式存储实现。
  • 高吞吐量：适合批量处理大规模数据。
  • 扩展性：可以轻松添加节点扩展存储容量。
• 适用场景：
  • 海量日志分析、视频存储、分布式数据处理等。

通过这些核心功能和机制，HDFS 成为分布式大数据存储的基础。