hadoop(HDFS的数据流)

HDFS写数据流程

---

1. 开始上传文件时，客户端通过Distributed FileSystem这个抽象的HDFS对象向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
2. NameNode返回是否可以上传。
3. 客户端将文件逻辑的根据块大小进行划分，然后请求NameNode第一个Block上传到哪几个DataNode服务器上。
4. NameNode返回一个清单，清单上面是3个DataNode节点，分别为Dn1，Dn2，Dn3；返回的节点数量取决于HDFS设置的副本数量
5. 客户端创建本地流:FSDataOutputStream；通过本地出向信息流请求建立第一个Block的传输通道；Dn1收到请求会继续请求调用Dn2,然后Dn2收到请求会继续请求调用Dn3，然后第一个Block的通道建立成功
6. Dn3，Dn2，Dn1逐级应答客户端：末端的Dn3向客户端返回应答，Dn2收到Dn3的应答后才会向Dn1方向发送应答
7. 客户端收到应答后，开始往Dn1上传第一个Block(先从磁盘读取数据放到一个本地内存缓存)，以Packet为单位，Dn1收到一个Packet就会传给Dn2，Dn2收到传给Dn3；Dn1每传一个Packet就会将其放入一个应答队列等待应答
8. 当第一个Block传输完成之后，客户端再次请求NameNode上传第二个Block给DataNode服务器(重复执行3-7步)

注：

1. Block的传送并不是一块传送完毕再传送第二块，其实是并发执行的，当自己的队列中的块都落户完了，该队列就清空了，就可以放下一块了。
2. 每次块请求NameNode返回的DataNode清单中的节点不一定相同；NameNode返回的三个节点，第一个是离块最近的DataNode，第二个和第三个都是由第一个DataNode随机选出来的。

网络拓扑----节点计算

在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢？
节点距离：两个节点到达最近的共同祖先的距离总和

---

假如:假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记，这里给出四种距离描述

所以如果要是DataNode1作为客户端上传文件，那么NameNode返回的清单中，第一个DataNode节点肯定是Datanode1自己本身；因为自己是离自己最近的

机架感知(副本存储节点选择)

1. 官方机架感知说明

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication

2. Hadoop副本节点选择

1. 第一个副本在Client所处的节点上。如果客户端在集群外，随机选一个。
2. 第二个副本和第一个副本位于相同机架，随机节点。
3. 第三个副本位于不同机架，随机节点。

这样做使得冗余性和读取的速度处于一个较好的平衡

---

HDFS读数据流程

---

1. 开始读取文件时，客户端通过Distributed FileSystem这个抽象的HDFS对象向NameNode请求下载文件，NameNode通过查询元文件，找到文件所在的DataNode地址。
2. 挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
3. DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
4. 客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。
5. 然后重复3-4步