目录
一、HDFS写流程
1、流程图如下:
2、过程:
(1)HDFS Client调用Filesystem.creat(filePath)方法,通过RPC(远程过程调用,简单的理解是一个节点请求另一个节点提供的服务)与NameNode建立通讯。
(2)NN会检查这个文件是否存在?是否可以创建?如果可以,NN会触发副本放置策略,计算出上传的块和相应的DN节点,然后将这个信息返回给Client的FsDataOutputStream对象。
(3)Client和对应的一个 DN 建立PipeLine连接(本质上也是一个RPC调用,DN收到请求后再去调用另一个,另一个接着调用最后一个,将整个PipeLine建立完成后,从后逐级返回给client)
(4)Client接着调用 FsDataOutputStream 的write方法,Client将每个块 切成packet(64k),然后向第一个DN发送,第一个收到后保存再发送给第二个,第二个收到后保存,再发送给第三个
在此过程中 上游节点同时发送下一个packet
生活中类比工厂的流水线;结论:流式其实也是变种的并行计算
(5)然后再PipeLine反方向,逐个发送ACK(命令正确应答),最后由第一个DN发送给Client(FSDataOutputStream)
(6)当第一个block传输完成后,Client请求NameNode上传第二个block,重复3操作
(7)当所有block全部写完,Client调用FSDataOutputStream的close方法关闭数据流
然后调用FileSystem.complete 方法告诉NN文件写入成功。
二、HDFS 读流程
1、流程图如下:
2、过程:
(1)HDFS Client 调用Filesystem.open(filePath)方法,与NN进行RPC通信
(2)NN对文件进行权限检查(存在?权限?)然后根据就近返回相应的block列表给Client
(3)Client与相应的每个block主机建立PipeLine(并行)
(4)client调用FSDataInputStream.read方法同样以package为单位进行读取,读取完后进行检查
(5)将读取的不同block进行合并
(6)client调用FSDataInputStream的close方法关闭数据流
三 、思考题
1、一些名词了解
spu:款 sku:款色 范围 spu>sku