Namenode内部数据结构整理

 

     由于要改进NameNode结构，需要对NameNode内部数据结构进行整理，方便下一步的工作。

     NameNode接收Client、DataNode、SecondNameNode的RPC通信后，解析出需要执行的函数，大部分再转发给FSNameSystem类进行处理。FSNameSystem保存了运行时的一些重要结构，总结起来有如下一些：

1.        BlocksMap  blokcsMap;

    保存了block-àINode,DatanodeDescriptor的映射

BlocksMap是NameNode中重要的数据结构，保存了三元组，在内存中占据了大量的空间，通过BlocksMap可以获得所有块信息。

2.        CorruptReplicasMap  corruptReplicas;

保存了block-àMap<DatanodeDescriptor>的映射。

CorruptReplicasMap保存的是损坏的块以及对应的DatanodeDescriptor集合。

3.        NavigableMap<String,DatanodeDescriptor> datanodeMap;

保存了StorageID-àDatanodeDescriptor的映射。

4.        Map<String,Collection<Block>> recentInvalidateSets;

保存了StorageID-àCollection<Block>的映射，其中Block集合对应的是存疑无效的Block。

5.        Map<String,Collection<Block>> excessReplicateMap;

保存了StorageID-àCollection<Block>的映射，其中Block集合对应了存疑超过设定副本数的Block。

6.        ArrayList<DatanodeDescriptor>  heartbeat;

保存了现在认定存活的结点对应的DatanodeDescriptor，Datanode通过RPC向NameNode定时发送心跳汇报，如果超过一定时间，则认为Datanode已经挂掉。

7.        UnderReplicatedBlocks  needReplications;

保存了List<TreeSet<Block>>需要复制的副本集合,按照优先级生成该副本集合。

8.        PendingReplicationBlocks pendingReplications;

保存了正在进行复制的Block集合，同时内部有个线程去检查是否复制超时，如果超时，则放入其内部的复制超时Block集合汇总。

9.        LeaseManager leaseManager;

租约检查。

10.      Host2DataNodesMap  host2NodesMap;

主机名-àDatanodeDesciptor[]的映射。