HDFS的读写过程

一.向HDFS写数据的过程

1. 客户端通过 Distributed FileSystem 模块向 NameNode 发起RPC（远程过程调用）建立通讯，NameNode 检查用户权限以及目标文件、目录是否存在。
2. NameNode 返回是否可以上传。
3. 客户端对文件按128MB进行切分，并向namenode发送第一个 Block 上传到哪些 DataNode 服务器的请求。
4. NameNode 会根据网络拓扑和机架感知机制进行文件分配，给客户端返回可以存储的DataNode 节点的地址，分别为 dn1、dn2、dn3。
   存储策略：第一个副本在客户端所在的节点上（如果客户端在集群外则随机），第二个副本在另一个机架结点上（考虑安全），第三个副本在第二个副本所在机架的随机节点上（考虑效率）。
5. 客户端通过 FSDataOutputStream 模块与dn1建立通信（RPC调用，建立pipeline），dn1 收到请求会继续调用 dn2，然后 dn2 调用 dn3，将这个通信管道pipeline建立完成。
6. dn1、dn2、dn3 逐级应答客户端
7. 客户端通过FSDataOutputStream对象以流的形式， 开始往 dn1 上传第一个 Block（先从磁盘读取数据放到一个本地内存缓存），数据首先被写入FSDataOutputStream对象内部的缓冲队列queue中，然后数据被分割成一个个Packet数据包。然后以 Packet 数据包为单位在pipeline管道中进行发送，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3。
   注意：
   ①在创建流的时候，会先创建一个缓冲队列queue，存储的就是chunk和4byte的校验位，共521+4=516个字节，当攒够64kb后就会形成一个Packet数据包，即传输的最小单位。再将一个个Packet放到缓冲队列里面queue，然后再发送到节点。
   ②在客户端向节点发送数据时，会创建ack确认帧队列，用于接受下一个节点成功应答的确认帧。
   ③pipeline的正向是发送数据包packet，逆向是发送ack确认帧。
8. 当一个 Block 传输完成之后，客户端再次请求 NameNode 上传第二个 Block。（重复执行 3-7 步）

二.向HDFS读数据的过程

1.客户端通过创建一个DistributedFileSystem对象向 NameNode 发起RPC请求，NameNode 通过查询元数据，找到文件块所在的 DataNode 地址。
2.Namenode给客户端返回该文件的元数据。
3.客户端拿到元数据，要想读取数据，就创建一个流对象进行读取
挑选一台 DataNode（就近原则，然后随机）服务器，请求读取数据。
（如果仅按照就近原则，可能会导致最近的那个节点负载过大，所以还要考虑当前节点的负载能力，当负载过大时，就使用其他随机节点。）
4.DataNode 开始传输数据给客户端（从磁盘里面读取数据输入流，以 Packet 为单位来做校验）。
5.客户端以 Packet 为单位接收，先在本地缓存，然后写入目标文件。

三.网络拓扑节点计算

在 HDFS 写数据的过程中，NameNode 会选择距离待上传数据最近距离的 DataNode 接收数据。
那么这个最近距离怎么计算呢？
节点距离：两个节点到达最近的共同祖先的距离总和。
例1:

Distance(/d1/r1/n0, /d1/r1/n0)=0（同一节点上的进程）
Distance(/d1/r1/n1, /d1/r1/n2)=2（同一机架上的不同节点）
如r1里面的n1和n2，共同的祖先是机架r1，而n1 n2到r1的距离都是1，所以节点距离为2
（节点到各自机架的距离都是1）

Distance(/d1/r2/n0, /d1/r3/n2)=4（同一数据中心不同机架上的节点）
r2的n0和r3的n2 ，共同祖先是集群d1，两个节点到d1的距离都是2，所以节点距离为4
（机架到各自集群的距离都是1）
Distance(/d1/r2/n1, /d2/r4/n1)=6（不同数据中心的节点）
d1/r2/n1, d2/r4/n1 共同的祖先是互联网，节点距离=3+3=6

例2：

9和5的节点距离是：共同祖先是8，距离为1+2=3
10和2 ：共同祖先是8，节点距离为1+2=3

参考：
https://www.cnblogs.com/feiyumo/p/12541296.html?ivk_sa=1024320u
https://blog.csdn.net/Romantic_sir/article/details/105438753