三、HDFS的数据流(面试重点)
1、HDFS写数据流程
- 客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,NameNode 检查目标文件是否已存在,父目录是否存在。
- NameNode 返回是否可以上传。
- 客户端请求第一个 Block上传到哪几个 DataNode 服务器上。
- NameNode 返回3个 DataNode 节点,分别为dn1、dn2、dn3。
- 客户端通过 FSDataOutputStream 模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。
- dn1、dn2、dn3逐级应答客户端。
- 客户端开始往dn1上传第一个 Block(先从磁盘读取数据放到一个本地内存缓存),以 Packet 为单位,dn1收到一个 Packet 就会传给dn2,dn2传给dn3;dn1每传一个 packet 会放入一个应答队列等待应答。
- 当一个 Block 传输完成之后,客户端再次请求 NameNode 上传第二个Block的服务器。(重复执行3-7步)。
2、网络拓扑-节点距离计算
在HDFS写数据的过程中,NameNode会选择距离待上传数据最近距离的DataNode接收数据。
- 节点距离:两个节点到达最近的共同祖先的距离总和。
3、副本节点选择
-
-
第一个副本在Client所处的节点上。如果客户端在集群外,随机选一个。
-
第二个副本和第一个副本位于相同机架,随机节点。
-
第三个副本位于不同机架,随机节点。
4、HDFS读数据流程
- 客户端通过 Distributed FileSystem向NameNode 请求下载文件,NameNode 通过查询元数据,找到文件块所在的 DataNode 地址。
- 挑选一台 DataNode(就近原则,然后随机)服务器,请求读取数据。
- DataNode 开始传输数据给客户端(从磁盘里面读取数据输入流,以 Packet 为单位来做校验)。
- 客户端以 Packet 为单位接收,先在本地缓存,然后写入目标文件。