Hadoop--HDFS读写数据流程

记录学习，有错欢迎指正

---

1、HDFS概述

1. HDFS产生背景
   随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。

2. HDFS定义
   HDFS (Hadoop Distibuted File System)，它是一个文件系统， 用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
   HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用（增删改查）。

3. 优点

   1. 高容错性
      (1)数据自动保存多个副本。它通过增加副本的形式，提高容错性。
      (2)某一个副本丢失以后，它可以自动恢复。
   2. 适合处理大数据
      (1) 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
      (2)文件规模：能够处理百万规模以上的文件数量，数量相当之大。
   3. 可构建在廉价机器上，通过多副本机制，提高可靠性。

4. 缺点

   1. 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
   2. 无法高效的对大量小文件进行存储。
      (1) 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的;
      (2) 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。
   3. 不支持并发写入、文件随机修改。
      (1) 一个文件只能有一个写，不允许多个线程同时写;
      (2)仅支持数据append (追加)， 不支持文件的随机修改。

---

2、文件块大小

HDFS中的文件在物理上是分块存储(Block) , 块的大小可以通过配置参数(dis boksie)来规定。集群中默认大小在Hadoop2x版本中是128M，老版本中是64M；本地模式默认大小是32M。

为何将大小设为128M?

• 寻址时间：查询到目标block的时间，一般为10ms
• 经过前人的大量测试发现，寻址时间为传输时间的1%时，为最佳状态；所以传输时间 = 10ms/0.01 = 1s
• 目前磁盘的传输速率普遍为100MB/s

为了达到传输的最佳状态，数据的传输时间为1s、传输速率为100MB/s，则最佳block大小=100MB。为了满足为2的倍数，所以将大小设置为128。

块的大小不能设置太小，也不能设置太大

(1) HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；

(2)如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。

总结：HDFS块的大小设置主要取决于磁盘传输速率。可以按自己磁盘的性能来设置块大小。

---

3、HDFS写数据流程

3.1 流程详解

详细图解

详细过程

1. 客户端创建一个连接对象 FileSystem；

2. FileSystem 对象向 NameNode 请求上传文件；

3. NameNode 接到请求后进行检查通过，对客户端响应可以上传文件；

4. FileSystem 对象向 NameNode 请求发送第一个block（0~128MB），请返回 DataNode；

5. NameNode 返回 DataNode1，DataNode2，DataNode3节点（考虑节点距离、负载均衡等因素），表示将采用这三个节点存储数据（这里副本数是3）；

6. 客户端接到返回节点后，创建 FSDataOutputStream 对象；

7. FSDataOutputStream 对DataNode1请求建立Block传输通道，DataNode1再请求与DataNode2建立通道，DataNode2再与DataNode3建立通道；

8. DataNode3 对 DataNode2 应答，DataNode2 对 DataNode1 应答，DataNode1 对FSDATAOutputStream 应答成功（管道传输）；

9. 开始发送数据，以Packet形式传输（流每次传输都是一个chunk（512byte），攒到一个Packet（64k）再传输Packet对象）。传输到DataNode1时，DataNode1先将数据文件写入到内存中（应答队列），先将数据写入到磁盘，再直接传递给DataNode2，DataNode2与DataNode3也依次类推；

10. 全部传输完毕后，一次数据写操作就完成了。当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行4 -10步）；

11. 当最后一个数据块发送完成后，FileSystem 向 NameNode 响应发送完成。

3.2 节点距离计算

在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢？

节点距离：两个节点到达最近的共同祖先的距离总和。

看懂下面的图例就明白了

下面的拓扑图
利用节点距离定义可知：9、5两个节点的距离是3

3.3 机架感知（副本存储节点选择）

当副本数是3时

---

4、HDFS读数据流程

读数据过程与写过程非常相似

详细图解

详细过程

1. 客户端创建一个连接对象 FileSystem；

2. FileSystem 对 NameNode请求读取某个数据；

3. Namenode会视情况返回文件的部分或者全部block列表，对于每个block，Namenode都会返回有该block拷贝的DataNode地址（元数据）；

4. 客户端创建 FSDATAInputSteam 对象；

5. FSDATAInputSteam 然后根据 节点距离 和 负载 等方面选择读取数据的节点；

6. FSDATAInputSteam 发送读取数据请求；节点开始传输数据；

7. 客户端以Packet为单位接收（先在本地缓存，然后写入目标文件）；

8. 读取完当前block的数据后，关闭与当前的DataNode连接，并为读取下一个block寻找最佳的DataNode；

9. 当读完列表的block后，且文件读取还没有结束，客户端开发库会继续向Namenode获取下一批的block列表。

参考

https://blog.csdn.net/weixin_44976835/article/details/115289310