HDFS

学习目标：

HDFS

---

学习内容：

1. HDFS产生背景

2. HDFS的定义

3. HDFS的优缺点

4. HDFS的组成结构

5. HDFS文件块大小

6. HDFS写数据流程(重点)

7. 网络拓扑-节点距离计算

8. 机架感知

9. HDFS读数据流程（重点）

10. NameNode和secondaryNameNode（重点）

11. DataNode（重点）

12. HDFS 2.X新特性

---

---

内容：

1.HDFS产生背景

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种

2.HDFS的定义

 HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

3.HDFS的优缺点

优点：

1) 高容错性

  (1) 数据自动保存多个副本。它通过增加副本的形式，提高容错性

（2）某一个副本丢失以后，它可以自动恢复。

2）适合处理大数据

1. 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
2. 文件规模：能够处理百万规模以上的文件数量，数量相当之大。

3）可构建在廉价机器上，通过多副本机制，提高可靠性 

缺点：

1) 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。

2) 无法高效的对大量小文件进行存储。  

    (1) 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内             存总是有限的；

     (2) 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。

3) 不支持并发写入、文件随机修改。

(1) 一个文件只能有一个写，不允许多个线程同时写；

(2) 仅支持数据append（追加），不支持文件的随机修改。

4.HDFS的组成结构

    NameNode：管理元数据
    DataNode：存储块数据
    SecondaryNameNode：不是NameNode的备份，是辅助NameNode做元数据合并操作

客户端（client）

1) 文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传；

2) 与NameNode交互，获取文件的位置信息；

3) 与DataNode交互，读取或者写入数据；

4) Client提供一些命令来管理HDFS，比如NameNode格式化；

5) Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作；

5.HDFS文件块大小

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M

HDFS块的大小设置主要取决于磁盘传输速率。

6.HDFS写数据流程(重点)

 

7.网络拓扑-节点距离计算

在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢？

       节点距离：两个节点到达最近的共同祖先的距离总和。

Distance(/d1/r1/n0, /d1/r1/n0)=0（同一节点上的进程）

Distance(/d1/r2/n0, /d1/r3/n2)=4（同一数据中心不同机架上的节点）

Distance(/d1/r1/n1, /d1/r1/n2)=2（同一机架上的不同节点）

Distance(/d1/r2/n1, /d2/r4/n1)=6（不同数据中心的节点）

 

8.机架感知

第一个副本在Client所处的节点上。如果客户端在集群外，随机选一个。

第二个副本和第一个副本位于相同机架，随机节点。

第三个副本位于不同机架，随机节点。

 

 

 

9.HDFS读数据流程（重点）

 

10.NameNode和secondaryNameNode（重点）

 

NN和2NN工作机制，如图所示。

 

NN和2NN工作机制

 

先来了解Fsiamge文件和Edits文件：

Fsimage：NameNode内存中元数据序列化后形成的文件。（文件信息）

Edits：记录客户端更新元数据信息的每一步操作（对文件的操作信息）

1. 第一阶段：NameNode启动

（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。

（2）客户端对元数据进行增删改的请求。

（3）NameNode记录操作日志，更新滚动日志。

（4）NameNode在内存中对数据进行增删改。

2. 第二阶段：Secondary NameNode工作

       （1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。

       （2）Secondary NameNode请求执行CheckPoint。

       （3）NameNode滚动正在写的Edits日志。

       （4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。

       （5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。

       （6）生成新的镜像文件fsimage.chkpoint。

       （7）拷贝fsimage.chkpoint到NameNode。

       （8）NameNode将fsimage.chkpoint重新命名成fsimage。

11.DataNode（重点）

DataNode工作机制，如图所示

 

DataNode工作机制

1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。

3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。

4）集群运行中可以安全加入和退出一些机器。

 

12. HDFS 2.X新特性

集群间数据拷贝

 

1．scp实现两个远程主机之间的文件复制

       scp -r hello.txt root@hadoop103:/user/kgg/hello.txt            

       scp -r root@hadoop103:/user/kgg/hello.txt  hello.txt         

       scp -r root@hadoop103:/user/kgg/hello.txt root@hadoop104:/user/kgg   //是通过本地主机中转实现两个远程主机的文件复制；如果在两个远程主机之间ssh没有配置的情况下可以使用该方式。

2．采用distcp命令实现两个Hadoop集群之间的递归数据复制

[kgg@hadoop101 hadoop-2.7.2]$  bin/hadoop distcp

hdfs://haoop102:9000/user/kgg/hello.txt hdfs://hadoop103:9000/user/kgg/hello.txt

 

Hadoop存档

1、HDFS存储小文件弊端

每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此Hadoop存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意，存储小文件所需要的磁盘容量和数据块的大小无关。

2、解决存储小文件办法之一

Hadoop存档文件或HAR文件，是一个更高效的文件存档工具，它将文件存入HDFS块，在减少NameNode内存使用的同时，允许对文件进行透明的访问。具体说来，Hadoop存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。

3．案例实操

（1）需要启动YARN进程

[kgg@hadoop101 hadoop-2.7.2]$ start-yarn.sh

（2）归档文件

       把/user/kgg/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/user/kgg/output路径下。

[kgg@hadoop101 hadoop-2.7.2]$ bin/hadoop archive -archiveName input.har –p  /user/kgg/input   /user/kgg/output

（3）查看归档

[kgg@hadoop101 hadoop-2.7.2]$ hadoop fs -lsr /user/kgg/output/input.har

[kgg@hadoop101 hadoop-2.7.2]$ hadoop fs -lsr har:///user/kgg/output/input.har

（4）解归档文件

[kgg@hadoop101 hadoop-2.7.2]$ hadoop fs -cp har:/// user/kgg/output/input.har/*    /user/kgg

 

---

---

一些问题：

为什么块的大小不能设置太小，也不能设置太大？

(1) HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；

(2) HDFS的块比磁盘的块大，其目的是为了最小化寻址开销；

(3) 如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。