HDFS浅谈

最近在做关于HBase的开发，由于HBase是基于HDFS的，所以对这方面进行了学习。

下面是总结的思维导图：

一、结构

hdfs的结构主要分三块：Client，NameNode （NN），DataNode  （DN）

　Client：客户端，系统使用者，调用HDFS API操作文件;与NN交互获取文件元数据;与DN交互进行数据读写。

 

　　Namenode：元数据节点，是系统唯一的管理者。负责元数据的管理;与client交互进行提供元数据查询;分配数据存储节点等。

 

　　Datanode：数据存储节点，负责数据块的存储与冗余备份;执行数据块的读写操作等。

其中namenode内存中存储的是=fsimage+edits。

fsimage:元数据镜像文件（文件系统的目录树。）

edits：元数据的操作日志（针对文件系统做的修改操作记录）

SecondaryNameNode负责定时默认1小时，从namenode上，获取fsimage和edits来进行合并，然后再发送给namenode，缓解namenode工作量。是namenode的冷备份。

二、写数据

1.用户定义数据块大小（默认为128M），定义副本数（默认为3份）

2.Client对文件进行切分

3.Client对NN进行请求，NN为每个数据块分配DN

4.Client对第一个DN发送数据块，第一个DN再把数据块传给第二个数据块，以此类推。每个DN收到数据包后都给Client一个应答，这是为了写数据容错，没有应答时Client会调整路线。

（这地方有些不确定，有的博客说发给NN确认，有的博客说第一个节点发给client确认，全部给NN确认，各有各的说法）

三、读数据

1.Client先联系NN，给NN文件名，NN查找出该文件的数据块表（记录了没给数据块对应的DN）传给Client

2.Client通过该表下载。可以通过数据块表进行读操作容错，也就是在某DN无法下载时换个节点下载。

四、故障发现

1.节点失效：心跳

2.通信故障：确认码

3.数据错误：总校验和

五、故障处理

在NN中存储着数据块表和DN列表（每个DN储存的数据块），当发生某个DN上的一个数据块错误时，更新数据块表，也就是从数据块表中删除这个数据块，如果发现DN失效时同时更新两个表。

NN周期扫描数据块表，发现没有按要求复制的数据块，分配DN对其复制。

六、备份规则

如果写入方在集群的节点上那么副本1就和其同机架，如果不是则随机。保证其他副本与副本1不同机架。

可以参考http://blog.csdn.net/mtchy/article/details/51352292  这篇转载文章用漫画解读了HDFS机制。