HDFS学习笔记（一）——读写数据

最新推荐文章于 2023-01-15 13:49:07 发布

是xunxun啊

最新推荐文章于 2023-01-15 13:49:07 发布

阅读量1.3k

点赞数 1

文章标签： hdfs hadoop big data

本文链接：https://blog.csdn.net/qq_36139822/article/details/122085504

版权

HDFS写数据流程

写数据

HDFS的写数据流程涉及三个主体：客户端、NameNode、DataNodes。

在这里仅简单介绍流程，详细流程可以浏览源码。

①首先，客户端会创建一个DFS对象（DistributedFileSystem），向NameNode发送上传文件的请求。

②NameNode收到请求后先检查该请求的权限，然后再检查目录结构是否存在（关键是检查这两个，还有其他检查内容）。如果检查通过，NameNode响应给客户端说可以上传文件。

③客户端收到可以上传的响应后，立刻向NameNode发送消息请求上传第一个Block（0~128MB），并表示要求NameNode返回DataNode，即告诉客户端写在哪个DataNode上。

④NameNode收到Block的上传请求后，会先考虑DataNode的存在情况、节点距离最近、负载均衡等诸多因素，给客户端返回三个（根据策略不同也可以是N个）DataNode节点，表示让客户端在这三个节点存储数据。

⑤客户端收到三个节点后，开始创建流（FSDataOutputStream）。在创建流的过程中，会以chunk为最小单位（chunk：size < 512字节+4字节校验=516字节），建立多个chunk，组成一个packet（packet：size < 64KB），然后以此组成多个packet，以packet为单位准备发送上传数据。在创建packet的同时，还会建立一个ACK缓冲区，其中每个条目对应一条上传的数据，用来表示上传成功与否的情况。

⑥在发送前，还会向目标的一个DataNode1请求建立Block传输通道，DataNode1会联系DataNode2请求建立通道、DataNode2联系DataNode3请求建立通道。DataNode3->DataNode2->DataNode1->客户端依次应答。

⑦数据串行传输，DataNode1收到一个Packet后悔边向自己磁盘中写数据，边向DataNode2发送数据，依次来提高传输效率。每个Packet传输成功后都会通过链式的方式向前应答（DN3->DN2->DN1->Client），客户端收到应答后会移除ACK队列中对应刚刚上传的那个Packet的数据，以此来表示上传成功。若没有成功，ACK会再次将对应的数据塞到Packet里面，再次发送。最后关闭资源。

选择副本节点

上面的步骤④中，NameNode会告诉Client把副本存到哪个节点上。在HDFS官方文档中，策略如下：如果客户端是集群中的一个节点，那么会在客户端自身的节点存一个副本，如果客户端在集群之外，那么会随机选择集群中任意一个机架中的任意一个节点。第二个副本则会选择另一个机架中的随机一个节点进行存储。第三个副本会在第二个副本所在的机架中再随机选择一个节点进行存储。第二三个副本选择一个机架的原因是为了提高效率，因为同一个机架传输效率更高。