HDFS 基本原理和读写流程
文章目录
基本架构
HDFS是一个 主从(Master/Slaves)架构 , 由一个NameNode和一些DataNode组成,NameNode为主;
面向文件包含:文件数据(data)和文件元数据(metadata);
NameNode负责存储和管理文件元数据(在内存),并维护了一个层次型的文件目录树;
DataNode负责存储文件数据(block块),并提供block的读写;
DataNode与NameNode维持心跳,并汇报自己持有的block信息;
Client和NameNode交互文件元数据和DataNode交互文件block数据;
NameNode:
- 完全基于内存存储文件元数据、目录结构、文件block的映射
- 需要***持久化***方案保证数据可靠性
- 提供副本放置策略
DataNode
- 基于本地磁盘存储block(文件的形式)
- 并保存block的校验和数据保证block的可靠性
- 与NameNode保持心跳,汇报block列表状态
NameNode 持久化
NameNode 使用内存来达到快速反应文件元数据的信息,但是内存的数据存在丢失的风险,所以就需要对元数据进行持久化操作;
持久化的两种方式:
当前时刻的快照:
- 特点:使用快照进行数据恢复速度快,但是快照是间隔的,容易丢失一部分数据;
每操作记录的日志
- 特点:完整性较好,但是恢复数据的速度慢;
NameNode 采用结合两者的方式:最近时点的 FsImage + 增量的 EditsLog(SNN 去完成)
如下:
现在10点
FI:9点+ 9点到10点的增量的EL
1,加载FI
2, 加载EL
3,内存就得到了关机前的全量数据!!!!
Hdfs 中的 (Secondary NameNode)SNN
在非 HA 模式下,,SNN一般是一个独立的节点,周期完成对 NameNode 的 EditLog 向 FsImage 合并,减少 EditLog 大小,减少NameNode启动时间
根据配置文件设置的时间间隔:checkpoint.period
默认为 3600秒 或者根据配置的 editsLog 大小 fs.checkpoint.size
edis 文件的最大值 默认是 64 MB
实现原理:
NameNode 安全模式
保证数据副本数,否则不对外提供服务
Namenode启动后会进入一个称为安全模式的特殊状态。
处于安全模式的Namenode是不会进行数据块的复制的。
Namenode从所有的 Datanode接收心跳信号和块状态报告。
每当Namenode检测确认某个数据块的副本数目达到这个最小值,那么该数据块就会被认为是副本安全(safely replicated)的。
在一定百分比(这个参数可配置)的数据块被Namenode检测确认是安全之后(加上一个额外的30秒等待时间),Namenode将退出安全模式状态。
接下来它会确定还有哪些数据块的副本没有达到指定数目,并将这些数据块复制到其他Datanode上。
存储模型
HDFS 写流程
- Client 和 NameNode 建立连接,创建文件元数据
- NameNode 判断元数据信息是否有效
- NameNode 触发副本放置策略,返回一个有序列表
- Client 根据返回的 DataNode 列表,建立 PipeLine 连接
- Client 将数据切分为 packet 发送给第一个 DataNode
- 第一个DataNode 接受后,会向第二个发送,第二个也是如此
Block的副本放置策略
第一个副本:放置在上传文件的DN;如果是集群外提交,则随机挑选一台磁盘不太满,CPU不太忙的节点。
第二个副本:放置在于第一个副本不同的机架上的节点。
第三个副本:与第二个副本相同机架的不同节点。
更多副本:随机节点
HDFS 读流程
为了降低整体的带宽消耗和读取延时,HDFS会尽量让读取程序读取离它最近的副本。
- Client 向 NameNode 请求下载对应的文件
- NameNode 根据距离策略排序返回 BlockLocation (就近读取)
- Client 向指定的 DataNode 下载数据,并校验数据完整性
Client 在读取数据,获得了 Block 的元数据信息(位置和偏移量),这时HDFS 支持 Client 给出文件的 offset 自定义连接到哪些 block 的 DataNode 上,自定义获取数据; 这个是支持计算层的分治、并行计算的核心;