1.HDFS简介

什么是HDFS

Hadoop DISTRIBUTED FILE SYSTEM，简称HDFS，是一个分布式文件系统。它是谷歌的GFS提出之后出现的另外一种文件系统。它有一定高度的容错性，而且提供了高吞吐 量的数据访问，非常适合大规模数据集上的应用。HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解决方案。HDFS是Apache Hadoop Core项目的一部分。

HDFS特点

优点：高容错性、适合批处理、适合大数据处理、流式文件访问：一次写入，多次读取。

缺点：不适合低延迟数据访问、不适合小文件存取（受限于NameNode）、不适合并发写入。

HDFS概念：

Block：文件的存储会被分割为多个block进行存储。默认为128MB，每一个blok会在多个datanode上存储多份副本，默认为3份。

Namenode：是整个文件系统的管理节点,主要负责存储一些metadata信息，主要包括文件目录、block和文件对应关系，以及block和datanote的对应关系。

Datanode：负责存储数据，提供真实文件数据的存储服务。

secondry NameNode（hadoop1.0和2.0伪分布式有，2.0完全分布式没有secondry namenode）HA的一个解决方案。

HDFS的基础架构图：

hadoop2.0之hdfs产生的背景

主要是在高可用和扩展性存在的问题

1.namenode单点故障，难以适用于在线场景；

2.namenode压力过大，且内存受限，影响系统性能扩展；

解决方案
HDFS 2.x HA 高可用，主要用来解决单点故障，将备份过程交由第三方管理，企业一般使用QJM.

联邦机制（federation）主要解决nomenode中内存受限，通过多个namenode/namespace把元数据的存储和管理分散到多个节点中，使得namenode/namespace可以通过增加机器进行扩展。