"淘宝网HDFS元数据的独立服务和独立持久化存储"分享总结

概述：

此分享是关于淘宝网HDFS元数据的独立服务和独立持久化存储的汇总

 

汇总点：

Namenode内存中的关键数据结构部分或全部挪到第三方，并持久化保存;
引入BlockChecker，检测Block副本数是否满足期望;
Datanode的改进包括：实现Namenode选择策略；
Client的改进包括：重连机制和选择NN节点机制；

 

选择流程包括：

流程一：DN启动时连接NN。DN需要根据选取策略，从NN列表中选取一个可用的NN地址建立连接，否则流程失败；
流程二：当前已连接的NN失效，DN重新选择NN，并进行连接；
流程三：手动或自动更新NN列表；

 

更多详情参见附件