HDFS读写数据流程小结

HDFS的写数据流程

1. 客户端通过distributed FileSystem 模块，向NameNode请求上传文件。
2. 然后NameNode响应客户端可以上传。
3. 然后客户端请求第一个block上传到那几个DataNode服务器
4. NameNode返回三个DataNode节点，分别是dn1,dn2,dn3。
5. 客户端通过FSDataOutputStrem模块请求向dn1上传数据，dn1收到请求后回调用dn2，dn2又会调用dn3，这样通信管道就会建立。
6. 然后 dn1，dn2 ，dn3逐级应答客户端。
7. 客户端开始往dn1上上传第一block，block以Packet为单位，每个packet数据块大小为64kb，它包括块和具有关联的校验和。dn1收到一个packet，就会传给dn2，dn2又会传给dn3.(每个block 0-128M)
8. 第一block上传完成后，客户端再次请求NameNode上传第二个block。然后重复上面的执行流程。直到文件上传完成。
   

写数据过程中，如何选择存储副本的数据节点？

​ 为啥要有副本？为了数据安全性。

1. 根据网络拓扑

​ 在HDFS上写数据时，一般默认会在集群上选择三个节点写入副本。那么如何选择这三个节点呢？NameNode会 选择距离最近的数据节点接受数据。节点距离：两个节点到达最近的共同祖先的距离总和。

2. 机架感知

1. 假如公司有三台机架。首先，如果客户端在一个数据节点上，那么第一副本肯定在这个数据节点上。如果客户端在集群外（例如在window上），那第一副本就随机选择一个。
2. 第二个副本会存储在另个机架（为了数据的安全性，防止一个机架全部崩溃）
3. 第三个 副本会存储在第二个副本所在机架的随机节点。（为什么不放在第三台机架？因为如果将这三个副本完全铺开，是可以增加安全性，但是也会造成很多网络IO，所以放在第二个副本所在的机架就行了！）

HDFS的读数据流程

1. 客户端通过distributeFileSystem模块向NameNode请求下载文件，NameNode查询元数据，获得文件块所在的DataNode的地址。将地址返回给客户端。

2. 客户端会根据就近，然后随机的原则找一台DataNode服务器，请求读取数据 。

3. 然后DataNode就开始传输数据了，传输过程中和写数据过程中一样，都是以packet为单位传输。

4. 然后客户端在以packet为单位，先在本地缓存，然后写入目标文件。