HDFS的读写流程

HDFS的写流程:

 

1)客户端先调用Distributed FileSystem里面的create方法,通过RPC协议,发送请求给NameNode,NameNode会先验证输入的路径是否存在和用户的访问权限是否通过,如果条件都符合,则先将HDFS的操作写入NameNode的edits文件(wal)中。

2)NameNode返回请求给客户端,告其可以上传文件

3)客户端再一次发送请求,询问第一个block块应该写在哪一个DataNode的节点上

4)NamaNode根据副本放置策略,返回3个DataNode的位置给客户端

5)客户端这时候会初始化FSDataOutputStream,调用FSDataOutputStream中的write方法开始写数据,先是将写的请求发送给DN1,DN1紧接着会发送给DN2,DN2最后发送给DN3,以Pipeline的管道模式开始传递,收到请求之后,从DN3开始逐级的响应,DN将数据切分成一个个Packet,形成一个队列。

6)客户端开始上传block块,上传是以packet为单位。第一个packet先上传给DN1,DN1又将其发送给DN2,DN2再将packet发送给DN3,DN3上传成功以后,就会将以ack packet的形式发送给DN2,DN2传给DN1,DN1返回ack packet给FSDataOutputStream的ack quene,标识该packet已经3副本写完

7)完成第一个block块的传输之后,客户端请求NameNode继续写第二个Block块(重复以上3-6步骤)

8)写完所有的block块之后,调用FSDataOutputStream的close方法,关闭输出流,flush缓冲区的数据包。再调用FileSystem的complete方法,通知NN节点写入成功。

 

读流程:

1)客户端调用Distributed FileSystem中的open()方法,RPC与NN通信,告知其要下载相关的文件,NameNode根据请求查询相关元数据,将具体文件信息的block块DataNode地址返回。

2)返回后初始化一个FSDataInputStream,并调用它的read()方法,在最近的一台DN读取相关的block块信息

3)DN开始传输数据给客户端。

4)如果第一批的block读完了,文件还没下载完,就会再次调用FileSystem的open()方法获取下一批的block列表,然后继续读,如果所有的块都读完,Client就会调用FSDataInputStream.close() 关闭输入流。

 

HDFS(Hadoop Distributed File System)是Hadoop生态系统中的一部分,它是一个可伸缩的分布式文件系统,可以在大型集群中存储和处理超大型数据集。下面是HDFS读写流程和原理: 1. 写入流程 (1)客户端向NameNode请求写入文件,NameNode返回一个DataNode列表,客户端接收到后与DataNode进行数据通信。 (2)客户端将数据划分为一个个数据块,并与DataNode建立连接,将数据块写入DataNode。 (3)DataNode接收到数据块后,先将数据写入本地磁盘,然后将数据块复制到其他DataNode上,以实现数据备份。 (4)客户端在写入完数据后,向NameNode发送文件元数据,即文件名、数据块ID、数据块所在的DataNode等信息,NameNode将这些信息保存在内存中,并更新元数据信息。 2. 读取流程 (1)客户端向NameNode请求读取文件,NameNode返回一个DataNode列表和对应的数据块位置信息。 (2)客户端与DataNode建立连接,请求数据块,DataNode将数据块返回给客户端。 (3)客户端读取完所有数据块后,将数据块组合成完整的文件。 HDFS的主要原理是数据分片和复制。HDFS将大文件划分为多个数据块,每个数据块默认大小为128MB,每个数据块会复制到多个DataNode上,以实现数据备份和容错。NameNode负责管理文件系统的元数据,包括文件名、文件目录、数据块位置等信息,而DataNode则负责数据块的存储和读写。这种分布式存储方式可以实现高可用性和高可靠性,并且可以通过增加DataNode数量来提高存储和读写性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值