1.HDFS读数据流程
- HDFS客户端通过
Distributed FileSystem
向Namenode
请求下载文件,Namenode
通过查询元数据,找到文件所在的地址;
-
Distributed FileSystem
返回一个FSDataInputStream
对象给客户端以便读取数据(FSDataInputStream
中封装着DFSInputStream
对象,该对象管理着namenode
与datanode
的I/O),接着,客户端对这个对象调用read
方法;
-
存储着文件起始几个块的
datanode
地址的DFSInputStream
随机连接离文件第一个块最近的datanode
,通过对数据流反复调用read()
方法,可以将数据从datanode
传输到客户端;
- 到达快的末端时,
DFSInputStream
就会关闭与datanode
的连接,然后寻找下一个块最佳的datanode
。所有这些过程对客户端都是透明的,在客户看来它就是一直在读取一个连续的流; - 客户端以
packet
为单位接收数据,先是缓存在本地,然后写入目标文件,一旦读取数据完成,就对FSDataInputStream
调用close()
方法。
2. HDFS写数据流程
-
客户端通过对
DistributedFileSystem
调用create
方法来新建文件,DistributedFileSystem
对namenode
创建一个RPC调用,在系统的命名空间中创建一个新文件,此时该文件中还没有相应的数据块;
-
namenode
执行各种检查以确保这个文件不存在以及客户端有新建文件的权限。如果这些检查能够通过,namenode
就会为创建新文件记录一条记录;否则,就向客户端抛出一个IOExeception
对象; -
DistributedFileSystem
向namenode
申请上传第一个Block
;namenode
向客户端返回可用的datanode
列表;
DistributedFileSystem
向客户端返回一个FSDataOutputStream
对象,由此客户端开始向datanode
写入数据。客户端通过FSDataOutputStream
向dn1请求上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。dn1、dn2、dn3逐级应答客户端
。
- 在客户端写入数据时,
DFSOutputStream
将数据分成一个个的数据包,并写入数据队列;客户端开始往dn1上传第一个Block(先从磁盘读取数据放到一个本地内存缓存),以Packet
为单位,dn1收到一个Packet
就会传给dn2,dn2传给dn3;dn1每传一个packet
会放入一个应答队列等待应答。当一个Block传输完成之后,客户端再次请求NameNode上传第二个Block的服务器。
文章已收录于https://github.com/wangsl123/dzblog,欢迎start。微信关注【鄙人王道长】,也可第一时间看到文章。