Hadoop 教程 - Hadoop HDFS数据存储与数据管理

Hadoop HDFS（Hadoop Distributed File System）是专为大数据存储和处理设计的高度可扩展、容错的分布式文件系统。HDFS数据存储与数据管理的核心特点和机制如下：

数据块（Block）

• 分块存储：HDFS将大文件分割成固定大小的数据块，默认通常是128MB或256MB。这种设计有利于数据的并行处理和快速传输。
• 副本存放：每个数据块会在不同的DataNode上存储多个副本（默认是3份），以提高数据的容错性和可用性。副本放置策略考虑了机架感知，确保数据的高可用性和读取效率。

NameNode与DataNode

• NameNode：管理HDFS的元数据，包括文件系统的命名空间信息（目录结构、文件名、文件属性等）以及数据块到DataNode的映射关系。NameNode是HDFS的“大脑”，负责分配文件块、处理文件系统命名空间操作等。
• DataNode：实际存储数据块的节点，定期向NameNode报告其存储的状态和块信息，执行来自NameNode的指令（如数据块的复制、删除等）。

写入流程

1. 请求上传：客户端通过Distributed FileSystem API向NameNode请求上传文件。
2. 元数据检查：NameNode验证文件是否存在、父目录是否就绪。
3. 块分配：NameNode分配数据块的存储位置，通常为不同机架上的三个DataNode。
4. 建立管道：客户端通过FSDataOutputStream与第一个DataNode建立连接，形成写数据的流水线。数据依次经过所有副本所在的DataNode。
5. 数据传输：客户端将文件数据按块分段写入，每写完一个packet，DataNode之间逐级传输并确认，直至所有副本接收完毕。

读取流程

1. 定位块：客户端向NameNode请求文件的元数据，获取到数据块的位置信息。
2. 数据读取：客户端直接从最近的DataNode读取数据块，若某副本不可用，则尝试其他副本。
3. 数据校验：读取过程中可进行数据校验，确保数据完整性。

数据管理特性

• 高容错性：通过数据块的多副本机制，即使部分节点失效也不影响数据的可用性。
• 自动恢复：当检测到数据块副本缺失时，NameNode会安排在其他健康的DataNode上重新复制。
• 存储策略：支持冷热数据的分层存储管理，例如将频繁访问的热数据存储在高性能存储介质上。
• 压缩：支持数据压缩，减少存储空间占用，同时优化I/O性能。
• API扩展：提供RESTful API（WebHDFS）支持，方便非Java应用集成。

理解HDFS的数据存储与管理机制对于高效利用Hadoop处理大数据至关重要，尤其是在设计数据存储方案、优化数据处理流程和确保数据安全方面。