Milkcoffeezhu的博客

小白学大数据

HDFS的基本的架构

一、HDFS的基本的概述

    (1)、HDFS是Hadoop的分布式文件系统,也是hadoop的重要组件之一,每一个事物都存在缺点和优点HDFS也不例外,具体的优点缺点如下。

    (2)、HDFS的优点如下:

            (a)、高容错性,一份数据在HDFS集群上由多个副本,即使其中某一份数据丢失了,会通过自己的恢复机制从其他的数据副本恢复数据。

            (b)、廉价,只需要普通的电脑就能搭建HDFS文件系统,并且存储容量可以动态的增加和减少。

            (c)、数据的存储规模大,适合对大量的数据进行存储和分析。

            (d)、适合一次写入,多次读取但是不支持数据的修改但是支持数据的追加。

  (3)、HDFS的缺点如下:

            (a)、响应比较慢,无法满足毫秒级的响应需求。

            (b)、不适合用于存储大量的小文件,因为大量的小文件会大量占用NM的存储空间,同时小文件的寻址时间大于数据的读取时间这样效率比较低。

            (c)、不支持并发的的读写数据,这样传输数据比较慢。

二、基本的架构

    (1)、Client其主要的职责如下

            (a)、在上传数据的时候对数据进行分块,在进行数据的下载的时候对数据进行合并

            (b)、与NameNode进行通信在进行数据上传的时候获取数据上传时的数据节点,在数据下载的时候获取存储数据的节点

            (c)、与DataNode进行通信进行数据的上传和下载

    (2)、NameNode主要的职责如下

            (a)、负责数据块映射信息的管理,在上传数据的时候给Client返回可以上传的数据节点,在需要获取数据的时候返回数据所在的节点,其本身并不存储数据。

            (b)、副本数据的管理策略。

            (c)、管理HDFS的名称空间

    (3)、DataNode的主要的职责如下

            (a)、负责数据的存储以及数据的读写。

    (4)、SecondaryNameNode主要职责

            (a)、是NM的一个备用。

            (b)、减去NM的负担,对NM中的日志以及镜像文件进行合并在把合并之后的数据发回到NM。

三、HDFS架构的示意图

        

阅读更多
个人分类: Haddop学习系列
想对作者说点什么? 我来说一句

Hadoop2.x HDFS架构

James__Tao James__Tao

2017-08-27 19:25:42

阅读数:437

没有更多推荐了,返回首页

不良信息举报

HDFS的基本的架构

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭