二、Hadoop学习：HDFS 基本原理

二、Hadoop学习：HDFS 基本原理

---

1、NameNode 概述

• a、NameNode 是 HDFS 的核心;
• b、NameNode 成为 Master;
• c、NameNode 仅存储 HDFS 的元数据：文件系统中所有
       文件的目录树，并跟踪整个集群中的文件;
• d、NameNode 不存储实际数据或数据集。数据本身实际存
       储在 DataNodes 中;
• e、NameNode 知道 HDFS 中任何给定文件的块列表及其
       位置。使用此信息 NameNode 知道如何从块中构建文
       件;
• f、 NameNode 并不持久化存储每个文件中各个块所在的
        DataNode 的位置信息，这些信息会在系统启动时从数
        据节点重建;
• g、NameNode 对于 HDFS 至关重要，当 NameNode 关闭
        时，HDFS / Hadoop 集群无法访问;
• h、NameNode 是 Hadoop 集群中的单点故障;
• i 、NameNode 所在机器通常会配置有大量内存
      （RAM）。
  
  

2、DataNode 概述

• a、DataNode 负责将实际数据存储在 HDFS 中;
• b、DataNode 也称为 Slave;
• c、NameNode 和 DataNode 会保持不断通信;
• d、DataNode 启动时，它将自己发布到 NameNode 并汇
       报自己负责持有的块列表;
• e、当某个 DataNode 关闭时，它不会影响数据或集群的可
       用性。NameNode 将安排由其他DataNode 管理的块进
       行副本复制;
• f、DataNode 所在机器通常配置有大量的硬盘空间。因为
      实际数据存储在 DataNode 中;
• g、DataNode 会定期（dfs.heartbeat.interval 配置项配
       置，默认是 3 秒）向NameNode发送心跳，如果
       NameNode 长时间没有接受到 DataNode 发送的心跳，
       NameNode 就会认为该 DataNode 失效;
• h、block 汇报时间间隔取参数
       dfs.blockreport.intervarMsec，参数未配置的话默认为 6
       小时。

3、HDFS 的工作机制

NameNode 负责管理整个文件系统元数据；
DataNode 负责管理具体文件数据块存储；
Secondary NameNode 协助 NameNode 进行元数据的备份。

HDFS 的内部工作机制对客户端保持透明，客户端请求访问 HDFS 都是通过向 NameNode 申请来进行。

3.1. HDFS 写数据流程

详细步骤解析：

• 1、client 发起文件上传请求，通过 RPC 与NameNode 建立通讯，NameNode 检查目标文件是否已存在，父目录是否存在，返回是否可以上传；
• 2、client 请求第一个 block 该传输到哪些 DataNode 服务器上；
• 3、NameNode 根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的 DataNode 地址如：
  A、B、C
          注：Hadoop 在设计时考虑到数据的安全与高效，数据文件默认在 HDFS 上存放三分，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。
• 4、client 请求 3 台 DataNode 中的一台 A 上传数据（本质上是一个 RPC 调用，建立pipeline），A 收到请求会继续调用 B，然后 B 调用 C，将整个 pipeline 建立完成，后
  逐级返回client；
• 5、client 开始往 A 上传第一个 block （先从磁盘读取数据放到一个本地内存缓存），以packet为单位（默认64K），A 收到一个 packet 就会传给 B，B 传给 C；A每传一个
  packet 会放入一个应答队列等待应答。
• 6、数据被分割成一个个 packet 数据包在 pipeline 上依次传输，在 pipeline 反方向上，逐个发送 ack （命令正确应答），最终由 pipeline 中第一个 DataNode 节点 A 将 pipeline ack 发送给 client；
• 7、当一个 block 传输完成之后，client 再次请求 NameNode 上传第二个 block 到服务器。

3.2. HDFS 读数据流程

详细步骤解析：

• 1、Client 向 NameNode 发起 RPC 请求，来确定请求文件 block 所在的位置；
• 2、NameNode 会视情况返回文件的部分或者全部 block 列表，对于每个 block，NameNode都会返回含有该 block 副本的 DataNode 地址；
• 3、这些返回的 DataNode 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近的排靠前；心跳机制中超时汇报的 DataNode 状态为 STALE，这样的排靠后；
• 4、Client 选取排序靠前的 DataNode 来读取 block，如果客户端本身就是 DataNode，那么将从本地直接获取数据；
• 5、底层上本质是建立
  Socket Stream（FSDataInputStream），重复的调用父类
  DataInputStream 的 read 方法，直到这个块上的数据读取完毕；
• 6、当读完列表的 block 后，若文件读取还没有结束，客户端会继续向 NameNode 获取下一批的 block 列表；
• 7、读取完一个 block 都会进行 checksum 验证，如果读取 DataNode 时出现错误，客户端会通知 NameNode，然后再从下一个拥有该 block 副本的 DataNode 继续读。
• 8、read 方法是并行的读取 block 信息，不是一块一块的读取；NameNode 只是返回 Client 请求包含块的 DataNode 地址，并不是返回请求块的数据；
• 9、最终读取来所有的 block 会合并成一个完整的最终文件。