阿里P8级架构师整理总结的565页神仙文Hadoop 2.X HDFS源码剖析

前言

本文以Hadoop 2.6.0源码为基础，深入剖析了HDFS 2.X中各个模块的实现细节，包括RPC框架实现、Namenode实现Datanode实现以及HDFS客户端实现等。

阅读本文可以帮助读者从架构设计与源码实现角度了解HDFS 2.X,同时还能学习HDFS 2.X框架中优秀的设计思想、设计模式、Java 语言技巧以及编程规范等。

这些对于读者全面提高自己的技术水平有很大的帮助

因为内容实在是太多了，所以小编只把部分知识点拿出来粗略的介绍了一下，每个小节都有更加细化的内容。

总目录

主要内容

由于篇幅原因，本文并没有介绍HDFS实现中的一些基础知识，例如JavaNIO、动态代理、protobuf 等。而是直接切入源码分析HDFS的设计与实现，同时介绍了一些经典的设计模式、Java语言技巧在HDFS实现中的应用。希望读者在阅读本文之前，先搭建好源码环境，并了解相应的基础知识，这样学习效果会更好。

本文一共有5章，相互之间的联系比较紧密，有联系的小节都有注释标注，读者可以根据注释跳跃阅读。

第1章是HDFS概述，从总体上介绍了HDFS的组件、概念以及典型的流程，同时详细介绍了HDFS各个组件间RPC接口的定义。由于HDFS流程大都比较复杂，往往涉及多个组件的配合，读者在阅读后续的具体章节时，可以查阅本章内容获取某个流程的总体描述，以及RPC接口的具体定义。

第2章介绍了Hadoop RPC框架的实现，Hadoop RPC是HDFS各个组件间通信所依赖的底层框架，可以理解为HDFS的神经系统。通过阅读本章，读者可以学习到一个典型的分布式RPC框架的实现细节，在本章中会介绍较多的设计模式，编程模型以及语言技巧，请读者注重积累。

第3~5章分别介绍了Namenode、 Datanode 以及HDFS客户端这三个组件的实现细节，同时穿插介绍了HDFS 2.X的新特性，例如Namenode HA就放在Namenode章介绍，而Federation Namenode新特性对Datanode的修改比较多，所以就放在Datanode章介绍。


第4章，Datanode (数据节点)，Datanode以存储数据块( Block)的形式保存HDFS文件，同时Datanode还会响应HDFS客户端读、写数据块的请求。Datanode 会周期性地向Namenode.上报心跳信息、数据块汇报信息(BlockReport)、缓存数据块汇报信息(CacheReport) 以及增量数据块块汇报信息。

Namenode会根据块汇报的内容，修改Namenode的命名空间(Namespace)， 同时向Datanode返回名字节点指令。Datanode 会响应Namenode返回的名字节点指令，如创建、删除和复制数据块指令等。

第5章，HDFS客户端，前面两章介绍了HDFS数据节点(Datanode)、名字节点(Namenode)的实现细节，本章开始介绍HDFS客户端。HDFS目前提供了三个客户端接口: DistributedFileSystem、 FsShell和DFSAdmin。 DistributedFileSystem 为用户开发基于HDFS的应用程序提供了API; FsShell工具使用户可以通过HDFS Shell命令执行常见的文件系统操作，例如创建文件、删除文件、创建目录等; DFSAdmin 则向系统管理员提供了管理HDFS的工具，例如执行升级、管理安全模式等操作。

DistributedFileSystem、FsShell 以及DFSAdmin都是通过直接或者间接地持有DFSClient对象的引用，然后调用DFSClient提供的接口方法对HDFS进行管理和操作的。DFSClient类封装了HDFS复杂的交互逻辑，对外提供了简单的接口，所以本章以DFSClient类作为入口来研究和学习HDFS客户端的逻辑以及源码实现。

这份【 Hadoop 2.XHDFS源码剖析】有565页

总结

Hadoop从云计算时代到现在的大数据时代都扮演着非常重要的角色，任何一个互联网公司几乎无一例外都在使用Hadoop来处理数据、挖掘数据中的价值。

《 Hadoop 2.XHDFS源码剖析》从Hadoop最基础的源码入手，由浅入深层层深入，不仅分析了Hadoop的实现原理，更将工程中经常用到的经典技术原理讲解得非常透彻。对于以后想从事大数据或分布式计算工作相关的朋友这是非常不错的教材。