概述:
此分享是关于淘宝网HDFS元数据的独立服务和独立持久化存储的汇总
汇总点:
Namenode内存中的关键数据结构部分或全部挪到第三方,并持久化保存;
引入BlockChecker,检测Block副本数是否满足期望;
Datanode的改进包括:实现Namenode选择策略;
Client的改进包括:重连机制和选择NN节点机制;
选择流程包括:
流程一:DN启动时连接NN。DN需要根据选取策略,从NN列表中选取一个可用的NN地址建立连接,否则流程失败;
流程二:当前已连接的NN失效,DN重新选择NN,并进行连接;
流程三:手动或自动更新NN列表;
更多详情参见附件