【Hadoop】一图学习HDFS源码结构系列——异构存储的实现

【Hadoop】一图学习HDFS源码结构系列——异构存储的实现

学习HDFS异构存储的实现后做的笔记，同样以一个结构图反映整体结构，方便以后有需要的时候回忆。

DataNode通过心跳汇报自身数据存储目录的StorageType给NameNode

NameNode就是通过DataNode发出的心跳信息，得到所管理的DataNode拥有什么样的存储。
DataNode的信息收集过程，就是图中第一个知识点所展示的流程。

NameNode进行汇总并更新集群内各个节点的存储类型情况

在收到DataNode发出的心跳后，NameNode就会对心跳进行解析，就是图中的第二点。

异构存储的使用

待复制文件根据自身设定的存储策略信息向NameNode请求拥有此类型存储介质的DataNode作为候选节点。
最右边的流程就是前三点所展现的DataNode从上报存储信息，到存储介质被使用的整一个流程。

BlockStoragePolicySuite

通常HDFS文件都会有三副本，如果每个副本我们都要单独制定它们的存储类型，那实在太麻烦了。于是HDFS设置好了块存储策略集合BlockStoragePolicySuite方便存储，包括左边红色的这几种策略。这里也展示了BlockStoragePolicySuite的被调用关系。