8、Hadoop与MapReduce技术全面解析

Hadoop与MapReduce技术全面解析

1. HDFS文件系统基础

在HDFS中，为维护文件和块的完整性，当一个块被分配给DataNode时，会在本地主机的原生文件系统中创建两个文件来表示每个副本。第一个文件包含数据本身，第二个文件是块的元数据，包括每个数据块的校验和和生成时间戳。

2. 复制与恢复机制

最初的HDFS设计中，每个集群只有一个NameNode，这成为了单点故障点。不过在HDFS的最新版本中，NameNode复制已成为像DataNode复制一样的标准功能。

3. 通信与管理

NameNode和DataNode之间的通信与管理是HDFS架构中最关键的部分，通过握手协议和系统ID来实现。具体流程如下：
- 初始创建和格式化时，NameNode会为文件系统分配一个命名空间ID，该ID会持久存储在集群的所有节点上。
- DataNode在初始创建并向NameNode注册时会被分配一个唯一的存储ID，即使在不同的IP地址或端口启动，该ID也不会改变。
- 启动过程中，NameNode完成命名空间刷新后，会与DataNode建立通信。为确保连接的DataNode正确，有一系列验证步骤：
1. DataNode通过握手向NameNode标识自己，并验证命名空间ID和软件版本。
2. 若不匹配，DataNode会自动关闭。
3. 签名验证过程可防止错误节点加入集群，自动保护文件系统的完整性，同时确保NameNode和DataNode之间软件版本的一致性。
4. 握手和验证后，DataNode会发送块报告，包含块ID、每个块副本的长度和生成时间戳。首次注册时立即