hadoop学习笔记-HDFS原理

文章内容摘自书籍，互联网的博客的一些集合和个人的理解。

HDFS原理

hadoop提供了可靠的共享存储和分析的系统，HDFS实现存储，MapReduce实现分析处理，这两部分是hadoop的核心，由于HDFS是为了高数据吞吐量而优化的，是以高时间延迟为代价，所以要求低延迟的数据访问应用不适合在HDFS上运行。

概念：

HDFS和操作系统一样，也是按块来存储的，但块会比操作系统的的大的多，默认为64MB作为独立的存储单元，也可以自行设置（例如128MB），但和其他操作系统不同的是，小于一个块大小的文件不会占据整个块的空间，块的大小的设置影响寻址的时间。

在一般情况下HDFS cluster主要包括一个NameNode和多个DataNode组成，大多数情况下，会有单独的一台机运行namenode实例，客户端通过一个可配置的TCP端口链接到NameNode，NameNode,dataNode之间通过远程过程调用RPC进行通信。

本图来自IBM

在各节点的通信中，NameNode可以看作是datanode的管理者和仲裁者，它不会主动发起请求（防止负载过大），而是对客户端或者dataNode发起的请求进行响应，每个datanode都会维护一个开放的socket，支持客户端或者其他datanode进行读写操作，namenode知道该socket和主机的位置和端口。

现在来解释每个名词的的作用

NameNode：作用是管理文件系统的命名空间

--将所有的文件和文件夹的数据保存在文件系统系统树中。

--这些信息在硬盘上保存：命名空间镜像（fsimage 它是一种序列化的文件格式，不支持硬盘的直接修改）和修改日志（editlog）

--保存文件包含的哪些数据块，分布在哪些节点。这些数据是从文件系统启动的时候，通过从数据节点向namenode发送的数据包获取的。

DataNode：真正存储数据的地方

--client可以向数据节点请求写入或者读取出数据块

--周期性的向NameNode回报存储数据块的信息。

secondary namenode（不是元数据出现问题的备用节点）

--主要功能是周期性的将NameNode的fsimage和editlog进行合并，以防止日志文件过大

--保留合并后的命名空间镜像文件，以防止数据节点失败的时候可以恢复。

fsimage和editlog

当文件系统客户端（client）进行写的操作的时候，首先会把它记录在修改它日志（editlog）的文件中

在记录了修改日志后，NameNode节点文件系统那个内存中的数据结构

每次写操作成功之前，修改日志都会同步到文件系统中

当namenode数据节点失败后，最新的checkpoint会将fsimage加载到内存中，然后执行editlog的操作

checkpoint的过程如下：

-SNN通知NN生成新的日志文件，并把日志都写到editlog中

-SNN用HTTP GET 的方法从NN那里获得faimage文件和editlog文件

-SNN把fsimage文件加载到内存中，执行日志文件的操作，生成新的fsimage

-SNN把用HTTP POST把fsimage传回NN中

-NN提换fsimage，更新fstime文件，写入checkpoint时间

这样NN的日志文件就不会很大了。

了解完这些之后，来讲一下关于client如何写入数据和读取数据

这里只说说具体的流程（详细的流程博客在以下链接）：

关于写入数据：

-客户端首先会将数据进行分块，然后会向NN发送请求，询问数据块应该存放的位置

-NN就会返回一些每个数据块应该存放的列表，在默认情况下，数据会被复制三份，一份放在本机架上，另外的两份会放在另外的机架上（这里还分两种情况，不详细谈）

-在client获取到要存放机器的位置的列表后，就通过RPC和datanode相连，并向第一个DataNode写入数据

-写完数据后，第一个DataNode就会与第二个DataNode进行通信并写入，再由第二个写入到第三个

-client收到写入成功的消息后并通知NN

在这里1TB File = 3TB storage 3TB network traffic 

DataNode会发送心跳包去告诉NN关于本台机上数据的状态

NN从这里报告中去建立数据块的元信息

如果在这时候，NN挂了，意味着HDFS也挂了

关于读取数据：

client向NN获取每个数据块的DataNode的列表，并挑选每个列表的第一个DataNode

然后就读取数据

关于client：

当客户端创建文件的时候，并没有立即将其发送给NN，而是将文件存储在本地的临时文件中，这个操作对用户来说是透明的

，当临时文件累计到达一个数据块的大小后，才会联系NN，NN才会将文件名插入到文件系统的层次结构中，然后分配一个数据块给它，返回DataNode的标志符给客户端，然后客户端才把数据写入到datanode上，当文件关闭的时候也会将剩余部分的文件上传到datanode上，告诉NN文件已将关闭，这是NN才将文件的创建操作提交到了HDFS，这种方式能够很好的减少网络的请求，避免了网络的拥堵，提高了吞吐量

最后修改日期：2013/10/16