集群升级时出现UnderReplicationBlocks告警，观察到NameNode监控中pendingReconstruction和neededReconstruction队列值波动。问题源于切主操作，触发ActiveState进入流程，遍历blocksMap并调整块的复制状态。切主瞬间，部分文件块未处理完毕，导致队列填充。待块汇报完成后，队列恢复正常。优化方案：寻找在块状态正常后再执行的方法，但优先级不高。
背景：
集群升级的时候，触发了一个UnderReplicationBlocks数的告警。
查看一下NameNode的监控，发现14：45分左右有几个队列的值突增，随后降下去了。
例如：pendingReconstruction、neededReconstruction等。
因为怀疑是切主导致，因此找对应的逻辑。
方法调用链路如下：
ActiveState#enterState -> startActiveServices -> initializeReplQueues -> processMisReplicatedBlocks -> processMisReplicatesAsync
在processMisReplicatesAsync里会对blocksMap里的所有块进行迭代，鉴定它是不是副本数超了或者副本数低了，然后根据不同的状态放到各自的队列里。
/*
* Since the BlocksMapGset does not throw the ConcurrentModificationException
* and supports further iteration after modification to list, there is a
* chance of missing the newly added block while iterating. Since every
* addition to blocksMap will check for mis-replication, 
订阅专栏 解锁全文
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
