HDFS读写流程以及异常处理

HDFS读写流程以及异常处理

目录

HDFS读写流程以及异常处理

一、HDFS的写流程

二、网络拓扑-节点距离计算

三、机架感知（副本存储节点选择）

四、读数据流程

一、HDFS的写流程

（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。

（2）NameNode返回是否可以上传。

（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。

（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。

（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。

（6）dn1、dn2、dn3逐级应答客户端。

（7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet（chunk数据传输中进行数据校验的粒度，chunksum校验值）为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。

（8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。

异常处理：

1.如果DN收到一半 DN挂了了的处理流程

客户端每读取64K的数据，封装为一个packet，封装成功的packet，放入到一个队列中，这个队列称为dataQuene(待发送数据包)在发送时，先将dataQuene中的packet按顺序发送，发送后再放入到ackquene(正在发送的队列)。每个节点在收到packet后，向客户端发送ack确认消息！当所有DN都发送ack，客户端收到这些ack后，传输成功，ackquene删除掉这个packet。假如一个packet在发送后，在收到DN返回的ack确认消息时超时，传输中止，将此时所有DN中正在传输的packet剔除，ackquene中的packet会回滚到dataQuene。重新建立通道，剔除坏的DN节点，包括里面的所有信息。建立完成之后，继续传输！只要有一个DN节点收到了数据，DN上报NN已经收完此块，NN就认为当前块已经传输成功！NN会自动维护副本数！（转载自HDFS的写数据流程以及异常写数据流程 - 爱学习没办法 - 博客园）

2.读取文件时DN挂了

DataNode 挂了只需要失败转移到其他副本所在的 DataNode 继续读取

3.读取到的文件数据损坏

读取到的文件数据块若校验失败可认定为损坏，依然可以转移到读取其他完好的副本，并向 NameNode 汇报该文件 block 损坏，后续处理由 NameNode 通知 DataNode 删除损坏文件 block，并根据完好的副本来复制一份新的文件 block 副本。 （2,3转载自HDFS 读写过程中的异常处理与恢复_METON的博客-CSDN博客_hdfs数据错误与恢复）

二、网络拓扑-节点距离计算

节点距离：两个节点到达最近的共同祖先的距离总和。

三、机架感知（副本存储节点选择）

四、读数据流程

（1）客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。

（2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。

（3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。

（4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。