HDFS实现思想及namenode元数据管理机制

1. HDFS实现思想

• hdfs是通过分布式集群来存储文件，为客户段提供了一个便捷的访问方式，就是一个虚拟的目录结构。
• 文件被存储到hdfs集群中是被切分成block的。
• 文件的block存放在若干台datanode节点上。
• hdfs文件系统中的文件与真实的block之间存在映射关系，这个关系是由namenode进行管理。
• 每个block在集群中会存储多个副本，好处是可以提高数据的可靠性，还可以提高系统的吞吐量。
  具体过程如下图所示：
  
  NN表示namenode, DN表示datanode。

2. namenode和datanode的职责

hdfs有两个核心：namenode (一个主节点), datanode（多个从节点）
职责如下：
datanode：主要存储数据
namenode：
（1）是管理文件系统文件的元数据信息（包括文件名称、大小、位置、属性、创建时间、修改时间等等）；
（2）是维护文件到块的对应关系和块到节点的对应关系
（3）三是维护用户对文件的操作信息（文件的增删改查），响应客户端请求

3. namenode和datanode的通信协议

（1）每隔3s，数据节点都会发送心跳信息给Namenode节点，所以namenode永远都会实时知道哪些数据节点是在线的。
（2）每隔6h，数据节点会发送完整的数据块报告给namenode,所以namenode会知道系统上各个文件和相关数据块的准确位置。
（3S和6h是默认值）