【大数据学习 | 面经】HDFS的三副本机制和编码机制

1. hdfs的三副本机制

hdfs的三副本机制是其核心特性之一，旨在确保数据的高可用性和容错性。通过将每个文件的数据块复制三个副本，并分散存储在不同的DateNode上，hdfs能够在节点故障的时候提供数据冗余和持续访问的能力。

三副本机制的工作原理：

数据块的划分：

HDFS会将大文件分割成固定大下的数据块（默认参数是128M）.每个这样的数据块都会被独立的处理和管理。

副本分布策略：

对于每个数据块，HDFS会创建三个副本。这些副本会被放置在集群中的不同的DataNode中，即使某个节点损坏或下线，数据仍然可以被访问。

具体的分布规则如下：

• 第一个副本放置在写入请求所在的本地节点。
• 第二个副本放置在一个不同机架上的随机节点。
• 第三个副本放置在同一个机架上但不同于第二个副本节点的另一个节点上。

容错与恢复：

• 如果任何一个DataNode发生故障，NameNode会检测到这种情况并触发数据恢复过程。它会从其他两个健康的副本中选择一个来重新创建丢失的副本，以保持三副本的数量不变。
• 这种机制使得即使有两个副本所在的节点同时失效，只要还有一个副本存在，数据就不会丢失。

读取优化：

• 当客户端请求读取数据时，NameNode会返回所有副本的位置信息。客户端可以选择离自己最近或负载最轻的节点进行读取，从而提高读取性能。

写入优化：

• 在写入过程中，客户端只需向其中一个副本发送数据，其余的副本由这个节点负责同步。这样可以减少网络传输量，并且加快了写入速度。

三副本机制的优