hadoop源码研读之路（七）----HDFS的数据管理

HDFS主要通过NameNode、DataNode和Client端来管理数据

NameNode主要负责管理文件系统的命名空间、集群的配置、和存储块的复制。

NameNode会将系统的元数据存储在内存中。

元数据主要包括下面几个信息：

1.namespace用来描述整个文件系统的体系结构（文件树）

2.access control information 用来检测访问和控制权限

3.mapping from files to block  映射文件信息到数据块

4.current location of blocks 管理Namenode中的数据块

5.data block  to machineList 1个数据块在那些机器上的列表

6.machine to data blockList   1个机器上有那些数据块 

DataNode是文件存储的基本单元，他将文件块存储在本地文件系统中，保存了所有数据块的信息，同时周期性的把所有的信息发送给Namenode。

Client就是需要获取分布式文件系统该文件的应用程序。

文件写入：

1.Client向NameNode发起文件写入的请求。

2.NameNode根据文件大小和文件块的配置情况，返回给Clent她所管理的DataNode的信息。

3.Client将文件划分为多个Block，根据DataNode的地址信息，按顺序将其写入每一个DataNode块中

文件读取：

1.Client想NameNode发起读取文件的请求。

2.NameNode返回文件的DataNode信息

3.Client读取文件信息

文件块复制

1.NameNode发现部分文件的Blok不符合最小复制数这一要求或部分DataNode失效

2.通知DataNode互相复制数据块。然后DataNode开始复制数据块

HDFS在数据管理的几个功能

文件的放置：一般数据块默认为三份备份，一份放在Namenode指定的DataNode上，一份放在指定的DataNode在不同一台机器上的DataNode上，最后一份放在了指定位置

不同机架上的DataNode集群上，采用这种机制是万一同一个机架数据崩溃，可以拷贝其他机架上的数据。

数据复制（场景为DataNode失败、需要平衡DataNode的存储利用率和平衡DataNode数据交互压力等情况）：使用Hadoop时可以用HDFS的balancer命令配置Threshold来平衡每一个DataNode的磁盘利用率。假设设置了Threshold为10%，那么执行balancer命令的时候，首先会统计所有DataNode的磁盘利用率的平均值，然后判断如果某一个DataNode的磁盘利用率超过这个均值，那么将会把这个DataNode的block转移到磁盘利用率低的DataNode上，这对于新节点的加入来说十分有用。

数据校验：采用CRC32做数据校验。在写入文件Block的时候，除了写入数据外还会写入校验信息，在读取的时候则需要校验后再读入。

单个NameNode：如果失败，任务处理信息将会记录在本地文件系统和远端的文件系统中。

数据管道性的写入：当客户端要写入文件到DataNode上时，客户端首先会读取一个Block，然后写到第一个DataNode上，接着由第一个 DataNode将其传递到备份的DataNode上，直到所有需要写入这个Block的DataNode都成功写入后，客户端才会开始写下一个 Block。

安全模式：分布式文件系统启动的时候会有安全模式（系统运行期间也可以通过命令进入安全模式），当分布式文件系统处于安全模式时，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了在系统启动的时候检查各个DataNode上的数据块的有效性，同时根据策略进行必要的复制或删除部分数据块。在实际操作过程中，若在系统启动时修改和删除文件会出现安全模式不允许修改的错误提示，只需要等待一会儿即可。