HDFS总结

概述

    首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。其次，它是分布式的，由很多服务器联合起来实现其功能。

    HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。

   HDFS文件系统会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data(用户并没有感觉到文件被切分)。

    目录结构及文件分块信息(元数据)的管理由namenode节点承担，namenode是HDFS集群主节点，负责维护整个HDFS文件系统的目录树，以及每一个路径（文件）所对应的block块信息（block的id，及所在的datanode服务器）。

    文件的各个block的存储管理由datanode节点承担，datanode是HDFS集群从节点，每一个block都可以在多个datanode上存储多个副本（副本数量也可以通过参数设置dfs.replication）。

    HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改。

HDFS写数据流程

1. HDFS客户端写一个新文件时，会首先调用DistributedFileSystem.create()方法在HDFS中创建一个新的空文件。这个方法底层会通过调用ClientProtocol.create()通知Namenode执行对应的操作，Namenode会首先在文件系统目录树种的指定路径下添加一个新的文件，然后将创建文件的操作记录在editlog中。
2. 完成ClientProtocol.create()调用后，DistributedFileSystem.create()方法就会返回一个HdfsDataOutputStream对象，这个对象底层包装了一个DFSOutputStream对象，真正执行写数据操作的其实是DFSOutputStream对象。
3. DFSOutputStream首先调用ClientProtocol.addBlock()向Namenode申请一个新的空的数据块。
4. addBlock()方法返回一个LocatedBlock对象，这个对象保存了存储这个数据块的所有数据节点的位置信息。
5. 建立数据流管道，通过DFSOutputStream.write()方法来写入数据，数据会先被缓存在数据流之中，之后这些数据会被切分成一个个数据包(packet)通过数据流管道发送到所有数据节点。
6. 当HDFS客户端完成了整个文件中所有数据块的写操作之后，就可以调用close()方法关闭输出流，并调用ClientProtocol.complete()方法通知Namenode提交这个文件中的所有数据块，也就完成了整个文件的写入操作。
   

HDFS读数据流程

1. HDFS客户端首先调用DistributedFileSystem.open()方法打开HDFS文件，这个方法在底层调用ClientProtocol.open()方法。
2. 该方法返回一个HdfsDataInputStream对象用于读取数据块，HdfsDataInputStream其实是一个DFSInputStream的装饰类，真正进行数据块读取操作的是DFSInputStream对象。在DFSInputStream的构造方法中，会调用ClientProtocol.getBlockLocations()方法向Namenode获取该HDFS文件起始位置数据块的位置信息。Namenode返回数据块的存储位置是按照与客户端的距离远近排序的，所以DFSInputStream可以选择一个最优的Datanode节点，然后与这个节点建立数据连接读取数据块。
3. HDFS客户端通过调用DFSInputStream.read()方法从这个最优的Datanode读取数据块，数据会以packet为单位从数据节点通过流式接口传送到客户端。当达到一个数据块的末尾时，DFSInputStream就会再次调用ClientProtocol.getBlockLocations()获取文件下一个数据块的位置信息，并建立和这个新的数据块的最优节点之间的连接，然后HDFS客户端就可以继续读取数据块了。
4. 当客户端成功读取文件后，会通过HdfsDataInputStream.close()方法关闭输入流。

HDFS元数据管理

1. 内存中有一份完整的元数据(内存meta data)
2. 磁盘有一个“准完整”的元数据镜像（fsimage）文件(在namenode的工作目录中)
3. 用于衔接内存meta data和持久化元数据镜像fsimage之间的操作日志（edits文件）注：当客户端对hdfs中的文件进行新增或者修改操作，操作记录首先被记入edits日志文件中，当客户端操作成功后，相应的元数据会更新到内存meta data中
   

每隔一段时间，会由secondary namenode将namenode上积累的所有edits和一个最新的fsimage（只有第一次需要下载）下载到本地，并加载到内存进行merge（这个过程称为checkpoint）。