HDFS概述产生背景，优缺点以及HDFS组成架构（一）

05.HDFS

一.HDFS概述

1.为什么出现HDFS？

随着数据量越来越大，需要存储和处理的数据量也就越来越大。我们操作使用操作系统的存储空间是有限的。因此需要把多个操作系统综合成一个大的操作系统，但是不方便管理和维护。因此需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统（Distributed File System，DFS）。HDFS只是分布式管理系统中的一种。

2.什么是分布式文件系统？

分布式文件系统允许将一个文件通过网络在多台主机上以及多副本（提高容错性）的方式进行存储，实际上是通过网络来访问文件，用户和程序看起来就像是访问本地磁盘一样。

3.HDFS概念

HDFS（Hadoop Distributed File System）是可以运行在廉价的服务器上，为海量数据存储提供了高容错性，高可靠性，高扩展性，高获得性，高吞吐率等特征。

4.HDFS优缺点

（1）优点

• 处理超大文件

  数据规模：能够处理数据规模达到 GB、TB、甚至 PB 级别的数据。

  文件规模：能够处理百万规模以上的文件数量，数量相当之大

• 运行于廉价机器上

  通过副本机制，提高可靠性

• 流式访问数据。

  HDFS支持一次写入，多次读取的服务

• 高容错性

  数据自动保存多个副本，它通过增加副本的形式，提高容错性。

  某一个副本丢失以后，它可以自动恢复。

（2）缺点

• 不适合低延迟数据访问。

  毫秒级的存储数据，是做不到的。所以实时性，低延迟的查询使用HBase会更好，但HBase中的rowkey设计得是否合适也会决定你的查询性能的高低

• 无法高效的对大量小文件进行存储

  存储大量小文件，会占用NameNode大量的内存来存储问价的目录和块信息，但NameNode的内存是有限的。

  小文件存储的寻址时间也会超过读取时间，不可取

• 不支持并发写入，文件随机修改

  一个文件只能一个线程写，不允许多个线程同时写；

  仅支持数据append（追加），不允许文件的随机修改。

二.HDFS组成架构

架构主要有四个部分组成，分别为HDFS Client 、NameNode、DataNode和Secondary NameNode。

1.Client

客户端。即自己编写的代码+Hadoop API

• 主要功能有：

（1）进行文件切分。文件上传HDFS的时候，Client将文件切分成一个一个Block，然后进行存储。

（2）与NameNode进行交互，获取文件的位置信息。

（3）与DataNode进行交互，读取或者写入数据。

（4）Client提供一些命令来管理HDFS，比如启动或者关闭HDFS。

（5）Client可以通过一些命令来访问HDFS。

2.NameNode

元数据节点，是Master，它是一个主管、管理者。集群中只能有一个活动的NameNode对外提供服务

• 主要功能：

（1）管理HDFS的名称空间（文件目录树）；

（2）管理数据块（Block）映射信息及副本信息；一个文件对应的块的名字

以及块被存储在哪里，以及每一个文件备份多少都是由 NameNode 来管理。

（3）处理客户端读写请求。

简述：

它将所有的文件和文件夹的元数据保存在一个文件系统树中。如一个文件包括哪些数据块，这些数据块分布在哪些数据节点上。

NameNode的目录结构如下

${dfs.name.dir}/current/VERSION/edits/fsimage/fstime

• VERSION文件是存放版本信息的文件，它保存了HDFS的版本号
• edits：当文件系统客户端进行写操作时，首先记录在修改日志中，元数据节点在内存中保存了文件系统的元数据信息。在记录了修改日志后，元数据节点则修改内存中的数据结构。每次写操作成功之前，修改日志都会同步到文件系统。
• fsimage:名字空间文件

3.DataNode

数据节点。就是Slave，实际存储数据块的节点，Namenode下达命令，DataNode执行实际操作。

（1）存储实际的数据块。

（2）执行数据块的读/写操作。

DataNode目录结构如下

${dfs.name.dir}/current/VERSION/blk_<id_1>/blk_<id_1.meta/blk_<id_2>/blk_<id_2.meta/...blk_<id_64>/blk_<id_64.meta.../subdir0/subdir1/.../subdir63

• blk_保存的是HDFS的数据块，其中保存了具体的二进制数据
• blk_.meta保存的是数据块的属性信息：版本信息、类型信息和校验和
• subdirxx：当一个目录中的数据块达到一定数量的时候，则创建子文件夹来保存数据块及数据块属性信息

4.Secondary NameNode

从元数据节点并非 NameNode 的热备。当 NameNode 挂掉的时候，

它并不能马上替换 NameNode 并提供服务。它的功能如下：

（1）辅助 NameNode，分担其工作量。

（2）定期合并 Fsimage 和 Edits，并推送给 NameNode。

（3）在紧急情况下，可辅助恢复 NameNode

三.HDFS文件块

HDFS 中的文件在物理上是分块存储（block），块的大小可以通过配置参数

( dfs.blocksize)来规定，默认大小在 Hadoop2.x 版本中是 128M，Hadoop1.x 版本

中是 64M。

HDFS 的块比磁盘的块大，其目的是为了最小化寻址开销。如果块设置得足

够大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而，

传输一个由多个块组成的文件的时间取决于磁盘传输速率。