大数据生态为什么需要自己开发HDFS文件系统？

文章目录

• 目录

  前言

  一、HDFS是什么？

  二、HDFS的核心知识点

  1.存储模型

  2.架构模型

  3.角色功能

  NameNode：

  DataNode：

  4.持久化方案

  5.SecondaryNameNode（SNN）

  6.副本放置策略

  7.HDFS写流程

  8.HDFS读流程

  总结

---

前言

       时代在发展的过程中，大数据技术已经应用到各个行业中，对于大数据，有许多的知识点可以学习，本篇文章对于大数据的HDFS进行初步的学习以及了解，
  

        

一、HDFS是什么？

HDFS可以简化的说明为大数据的文件系统，可以进行对文件的存储计算，读写操作，是大数据的核心之一，既然在大数据建立之初有很多的开源文件系统，为什么还要在独立开发一种文件系统呢，接着往下看。

二、HDFS的核心知识点

1.存储模型

        在HDFS文件系统中，文件会被字节切割成块，每一块叫做block，具有offset，id。offset是重点！！！后面会讲；文件与文件的block块大小可以不一样，但是文件内的block块除了最后一块，其余的大小是一样；block的大小的划分是根据硬件I/O的特性进行调整的；block被分散到集群的各个地方具有location；block具有副本，副本没有主从概念，只是主备，副本不能出现在同一个节点上；文件上传可以指定block大小和副本数，上传后只能修改副本数 一次写入多次读取，不支持修改 支持追加数据。

2.架构模型

HDFS是一个主从架构。

在HDFS中有一些NameNode与DataNode，面向数据有文件数据以及元数据。NameNode负责管理和存储元数据，并维护了一个文件目录树，DataNode负责存储文件数据以及提供block的读写。DataNode可以与NameNode保持心跳，汇报自己持有的block信息。Clint和NameNode交互文件Block数据。

3.角色功能

NameNode：

        完全基于内存存储文件元数据、目录结构、文件block的映射。需要持久化的方案保证安全性，提供副本放置策略。

DataNode：

        基于本地磁盘存储block(文件的形式)。保存文件数据的校验和保证数据的可靠性。与NameNode保持心跳，汇报block列表状态。

4.持久化方案

        任何对文件系统元数据产生修改的操作，Namenode都会使用一种称为EditLog的事务日志记录下来 使用FsImage存储内存所有的元数据状态 使用本地磁盘保存EditLog和FsImage EditLog具有完整性，数据丢失少，但恢复速度慢，并有体积膨胀风险 FsImage具有恢复速度快，体积与内存数据相当，但不能实时保存，数据丢失多。

        NameNode使用了FsImage+EditLog整合的方案： 滚动将增量的EditLog更新到FsImage，以保证更近时点的FsImage和更小的EditLog体积。

5.SecondaryNameNode（SNN）

在非Ha模式下，SNN一般是独立的节点，周期完成对NN的EditLog向FsImage合并，减少EditLog大小，减少NN启动时间 根据配置文件设置的时间间隔fs.checkpoint.period  默认3600秒 根据配置文件设置edits log大小 fs.checkpoint.size 规定edits文件的最大值默认是64MB。

6.副本放置策略

第一个副本：放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。 第二个副本：放置在于第一个副本不同的 机架的节点上。 第三个副本：与第二个副本相同机架的节点。 更多副本：随机节点。

7.HDFS写流程

Client和NN连接创建文件元数据

NN判定元数据是否有效

NN处发副本放置策略，返回一个有序的DN列表

Client和DN建立Pipeline连接

Client将块切分成packet（64KB），并使用chunk（512B）+chucksum（4B）填充

Client将packet放入发送队列dataqueue中，并向第一个DN发送

第一个DN收到packet后本地保存并发送给第二个DN

第二个DN收到packet后本地保存并发送给第三个DN

这一个过程中，上游节点同时发送下一个packet 结论：流式其实也是变种的并行计算 Hdfs使用这种传输方式，副本数对于client是透明的 当block传输完成，DN们各自向NN汇报，同时client继续传输下一个block 所以，client的传输和block的汇报也是并行的。

8.HDFS读流程

为了降低整体的带宽消耗和读取延时，HDFS会尽量让读取程序读取离它最近的副本。 如果在读取程序的同一个机架上有一个副本，那么就读取该副本。 如果一个HDFS集群跨越多个数据中心，那么客户端也将首先读本地数据中心的副本。

总结

这篇文章主要讲述了HDFS的构成以及为什么需要它，现在就可以来解释为什么一定需要自己开发一个HDFS系统，因为HDFS支持client给出文件的offset自定义连接哪些block的DN，自定义获取数据 这个是支持计算层的分治、并行计算的核心，可以快速的定位到想看的数据，其他文件系统是无法做到这一点的。