三、HDFS整体架构(上)

reference: http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

1、什么是HDFS？

HADOOP DISTRIBUTE FILE SYSTEM：Hadoop分布式文件系统。

2、它的设计目标是什么？

• 高度容错，对硬件要求比较低；
• 流式处理数据，它是用来处理大批量对数据而不是响应式地处理用户请求；
• 简单的一致性模型；
• 移动计算能力而不是移动数据；
• 可移植性比较好。

3、整体架构

先来看一下官方提供的架构图：

下面是官方的原话：
HDFS has a master/slave architecture. An HDFS cluster consists of a single NameNode, a master server that manages the file system namespace and regulates access to files by clients. In addition, there are a number of DataNodes, usually one per node in the cluster, which manage storage attached to the nodes that they run on. HDFS exposes a file system namespace and allows user data to be stored in files. Internally, a file is split into one or more blocks and these blocks are stored in a set of DataNodes. The NameNode executes file system namespace operations like opening, closing, and renaming files and directories. It also determines the mapping of blocks to DataNodes. The DataNodes are responsible for serving read and write requests from the file system’s clients. The DataNodes also perform block creation, deletion, and replication upon instruction from the NameNode.
翻译一下：
HDFS是一个主从架构，一个HDFS集群包含了一个NameNode(是一个管理文件系统命名空间以及客户端的访问请求)，除此之外，还包含很多个用于管理连接到它们节点存储的DataNode(在集群中通常是每个节点是一个DataNode)；HDFS暴露了一个文件系统的命名空间，并且允许用户的数据存在里面到文件中，在其内部，一个文件被分割成一个或者若干个块(block)，这些快存储在DataNodes集中；NameNode执行文件系统命名空间操作，比如：打开、关闭、重命名文件或者文件夹，它也决定了块和DataNode到映射关系。DataNode负责处理客户端到读写请求，还根据NameNode到指令创建、删除、复制块。

4、一些名词的解释

文件系统命名空间

HDFS支持像传统文件系统那样分层组织文件。NameNode维护着文件系统命名空间，它会记录文件系统命名空间的所有变化，应用程序可以向NameNode指定一个文件被复制多少份，这叫做一个文件的replication factor。

数据复制

用户指定replication factor从而可以告诉NameNode数据需要被复制几份，用户也可以指定块的大小，一个文件的所有数据块除了最后一个块其他的块的大小都是相等的。DataNode会定期发送给NameNode一个HeartBeat和一个BlockReport，HeartBeat是为了告诉NameNode我是活着的，BlockReport则是为了告诉NameNode我的Block列表。

未完，待续。。。。。。。