HDFS的基本的架构

一、HDFS的基本的概述

(1)、HDFS是Hadoop的分布式文件系统，也是hadoop的重要组件之一，每一个事物都存在缺点和优点HDFS也不例外，具体的优点缺点如下。

(2)、HDFS的优点如下：

(a)、高容错性，一份数据在HDFS集群上由多个副本，即使其中某一份数据丢失了，会通过自己的恢复机制从其他的数据副本恢复数据。

(b)、廉价，只需要普通的电脑就能搭建HDFS文件系统，并且存储容量可以动态的增加和减少。

(c)、数据的存储规模大，适合对大量的数据进行存储和分析。

(d)、适合一次写入，多次读取但是不支持数据的修改但是支持数据的追加。

(3)、HDFS的缺点如下：

(a)、响应比较慢，无法满足毫秒级的响应需求。

(b)、不适合用于存储大量的小文件，因为大量的小文件会大量占用NM的存储空间，同时小文件的寻址时间大于数据的读取时间这样效率比较低。

(c)、不支持并发的的读写数据，这样传输数据比较慢。

二、基本的架构

(1)、Client其主要的职责如下

(a)、在上传数据的时候对数据进行分块，在进行数据的下载的时候对数据进行合并

(b)、与NameNode进行通信在进行数据上传的时候获取数据上传时的数据节点，在数据下载的时候获取存储数据的节点

(c)、与DataNode进行通信进行数据的上传和下载

(2)、NameNode主要的职责如下

(a)、负责数据块映射信息的管理，在上传数据的时候给Client返回可以上传的数据节点，在需要获取数据的时候返回数据所在的节点，其本身并不存储数据。

(b)、副本数据的管理策略。

(c)、管理HDFS的名称空间

(3)、DataNode的主要的职责如下

(a)、负责数据的存储以及数据的读写。

(4)、SecondaryNameNode主要职责

(a)、是NM的一个备用。

(b)、减去NM的负担，对NM中的日志以及镜像文件进行合并在把合并之后的数据发回到NM。

三、HDFS架构的示意图

长按识别关注我们，更多精彩内容分享 ~ ~