大数据复习知识点3

HDFS的心跳机制：HDFS的心跳机制用于DataNode和NameNode之间的通信。DataNode定期向NameNode发送心跳消息，以报告其状态和存储的块信息。如果NameNode在一定时间内未收到某个DataNode的心跳消息，就会认为该DataNode已经失效，并采取相应的措施。

HDFS的默认副本数：HDFS中文件的默认副本数是3，这意味着每个文件的数据块都会在HDFS集群中的不同节点上存储三份副本，以提高数据的可靠性和容错性。

HDFS的副本放置策略：HDFS的副本放置策略旨在确保数据的可靠性和高效访问。通常，第一个副本放在客户端所在的节点上，以减少网络传输开销；第二个副本放在与第一个副本不同的机架上的节点上；第三个副本放在与第二个副本相同的机架上的另一个节点上，以实现机架间的故障隔离。

NameNode和DataNode的作用：NameNode是HDFS的主节点，负责管理文件系统的命名空间、维护文件目录树、记录文件的块信息以及协调客户端对文件的访问。DataNode是HDFS的工作节点，负责存储实际的数据块，并处理客户端的文件读写请求。

HDFS中的Federation机制：Federation机制就像是一个大家庭，里面有多个小家庭。在HDFS中，这个大家庭就是整个文件系统，而小家庭就是那些独立的NameNode和它们的命名空间。这样，当数据变得超级多的时候，每个小家庭都可以分担存储和管理的任务，让整个文件系统更加稳定和高效。

HDFS的副本机制：为了保证数据的安全和可靠性，HDFS会为每个文件创建多个副本，就像是给每个重要文件都做了备份。这样，即使某个节点或机架出了问题，数据也不会丢失，还可以从其他副本中恢复。