Hadoop三大组件之HDFS（一）

HDFS 简介

HDFS (Hadoop Distributed File System) 是一个分布式文件系统，用于存储文件，采用目录树结构来定位文件。它由多个服务器组成，每个服务器在集群中扮演不同的角色。

• 适合一次写入，多次读取的场景。
• 文件创建、写入和关闭后，通常不再修改。

1. HDFS的架构

HDFS（Hadoop Distributed File System）采用主从架构，由一个NameNode（主节点）和多个DataNode（从节点）组成。NameNode负责管理HDFS命名空间和数据块映射信息（如文件名、文件目录层次结构、权限、块位置等）并配置副本策略，而DataNode负责存储实际的数据块。Secondary NameNode辅助NameNode进行元数据的检查点操作。

1. NameNode (主节点)

• 角色：HDFS 的管理者和控制中心。
• 功能：
  • 管理 HDFS 的名称空间，维护文件和目录的结构。
  • 配置和管理副本策略，确定每个文件的副本数量和存放位置。
  • 管理数据块(Block)的信息，例如数据块的位置和状态。
  • 处理客户端的读写请求，协调文件的存储和访问。

2. DataNode (节点)

• 角色：HDFS 的工作节点，执行实际的数据存储和处理。
• 功能：
  • 存储实际的数据块，负责数据的持久化。
  • 执行数据块的