大数据之Hadoop（HDFS的数据流）

4.1 HDFS写数据流程

4.1.1 剖析文件写入

（1）HDFS客户端创建分布式文件系统（Distributed FileSystem）。
（2）HDFS客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
（3）NameNode返回是否可以上传。
（4）客户端请求第一个Block上传到哪几个DataNode服务器上。
（5）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3（根据距离、负载进行选择）。
（6）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
（7）dn2、dn2、dn3逐级应答客户端。
（8）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个Packet会放入一个应答队列等待应答。
（9）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。

4.1.2 网络拓扑-节点距离计算

• 在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。
  
• Distance（d1/r1/n0, d1/r1/n0）= 0（同一节点上的进程）
• Distance（d1/r1/n1, d1/r1/n2）= 2（同一机架上的不同节点）
• Distance（d1/r2/n0, d1/r3/n2）= 4（同一数据中心不同机架上的节点）
• Distance（d1/r2/n1, d2/r4/n1）= 6（不同数据中心的节点）

4.1.3 机架感知（副本存储节点选择）

1、Hadoop2.7.2 副本节点选择

（1）第一个副本在Client所处的节点上。如果客户端在集群外，随机选一个。
（2）第二个副本和第一个副本位于相同机架，随机节点。
（3）第三个副本位于不同机架，随机节点。

（1）HDFS客户端创建分布式文件系统（Distributed FileSystem）。
（2）HDFS客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
（3）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
（4）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
（5）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。