HDFS精华文章汇总

前言

---

自2015年下半年起，笔者开始写关于Hadoop的文章（主要集中在HDFS），包括源码分析类的，问题分析解决又或者是内部机制剖析。这些文章目前汇总数量已经达到70+篇。这些文章对于笔者来说是一个宝贵的资料，这些文章见证了笔者从一名Hadoop贡献者成长为Hadoop Committer的过程。同样笔者相信，这些文章对于那些对HDFS感兴趣的人同样是很好的学习资料。因此，笔者觉得是时候写一篇文章来做这样的索引目录页，来帮助博客朋友来全局地，系统地阅读和学习这些文章。另外特别注明一点，部分15，16年的文章，笔者其实已经整理成书(<<深度剖析Hadoop HDFS>>)并已经出版了，详见左侧笔者介绍区域。笔者对这些文章进行了简单的分类，并在小节开头进行了简单的介绍。

Federation

---

HDFS Federation是用来解决HDFS扩展性问题的方案之一。随着数据量越来越大，单一的NameNode遇到了性能瓶颈，怎么办？在这个方案中，可以支持一个集群内有多namespace（NameNode）的情况，但他们是可以复用DataNode的。

HDFS基于路由的Federation方案：http://blog.csdn.net/androidlushangderen/article/details/78573732
HDFS Federation机制：http://blog.csdn.net/androidlushangderen/article/details/52135506

Ozone

---

Ozone是HDFS的一个新方向，它指在HDFS上做对象存储。Ozone的架构与设计与HDFS其实已经是完全不同的一套体系结构了。但在未来可能会把这种关系打通，也就是在Ozone上构建新的HDFS。

聊聊HDFS和Ozone的融合：http://blog.csdn.net/androidlushangderen/article/details/78450332
HDFS Ozone整体概述：http://blog.csdn.net/androidlushangderen/article/details/78168479
HDFS Ozone的Pipeline实现机制：http://blog.csdn.net/androidlushangderen/article/details/78010639
HDFS对象存储：Ozone的块异步删除服务：http://blog.csdn.net/androidlushangderen/article/details/77619513
HDFS对象存储的版本管理设计：http://blog.csdn.net/androidlushangderen/article/details/76039268
HDFS对象存储服务：Ozone的元数据管理：http://blog.csdn.net/androidlushangderen/article/details/74860017
HDFS的新方向：Ozone对象存储：http://blog.csdn.net/androidlushangderen/article/details/71006240
HDFS对象存储–Ozone架构设计：http://blog.csdn.net/androidlushangderen/article/details/50767774

副本、块、磁盘策略

---

HDFS中聊得最多的就是块，副本，磁盘，这个模块主要介绍HDFS现有的一些磁盘，副本位置选择策略。

聊聊HDFS中的副本放置策略和磁盘选择策略间的选择“矛盾”：http://blog.csdn.net/androidlushangderen/article/details/71970499
HDFS副本放置节点选择的优化：http://blog.csdn.net/androidlushangderen/article/details/70195430
HDFS内副本和块的状态分析：http://blog.csdn.net/androidlushangderen/article/details/53572600
DataNode启动优化改进：磁盘检测并行化：