HDFS分布式文件系统

1. 描述一下HDFS的数据写入流程

(1)首先,客户端Client通过创建DistributedFileSystem向NameNode发送请求上传文件, NameNode检验目标文件是否存在, 父目录是否存在, 文件是否合法以及其是否具有相应的权限
(2)校验通过之后, NameNode响应客户端可以开始上传文件
(3) Client对即将上传的文件进行切块(一个Block最大128M), 并再次向NameNode发出请求, 上传第一个Block, 等待NameNode返回存储的DataNode,
(4)NameNode返回dn1,dn2,dn3节点, 表示采用这三个节点来存储数据
(5)客户端通过写FSDataOutputStream请求建立Block传输通道,请求第一个最近的dn1上传数据,然后dn1调用dn2, dn2调用dn3
(6)然后从dn3开始逐级应答
(7)客户端开始传输数据第一个Block, 以Packet为单位进行传输, dn1接受到第一个block就会传给dn2, dn2传给dn3
(8)当第一个Block传输完成之后, 客户端会再次请求NameNode上传第二个Block, NameNode会再次重复以上步骤返回3个DataNode

2. 描述一下HDFS的数据读取流程

(1)首先,客户端Client通过创建DistributedFileSystem向NameNode发送请求下载文件, NameNode检验目标文件是否存在, 父目录是否存在, 文件是否合法以及其是否具有相应的权限
(2)校验通过之后, NameNode响应客户端可以开始下载文件,返回目标文件的元数据
(3)客户端向NameNode请求读数据(就近随机挑选一台机器)
(4)DataNode开始从磁盘中读取数据
(5)客户端先缓存在本地, 然后写入目标文件

3. 简述HDFS的架构, 其中每个服务的作用?

HD