hadoop2.X之HDFS集群管理：ReplicationMonitor

最新推荐文章于 2022-01-11 15:19:45 发布

置顶

liuhong1123

最新推荐文章于 2022-01-11 15:19:45 发布

阅读量2.2k

点赞数

分类专栏： HDFS 文章标签： hdfs HA

本文链接：https://blog.csdn.net/liuhong1123/article/details/8460638

版权

本文详细解析了Hadoop2.x中ReplicationMonitor在HDFS集群管理中的作用，包括块冗余处理机制和块无效处理机制。在块冗余处理中，重点介绍了如何选择源节点和目标节点，以及处理流程。在块无效处理中，阐述了产生无效块的原因及处理策略，确保集群效率和资源利用。

摘要由CSDN通过智能技术生成

原文出自云台博客：http://yuntai.1kapp.com/?p=930

ReplicationMonitor在HDFS中的工作相当重要，首先不仅会负责为副本不足的数据块选择source 数据节点，选择冗余的target节点，等待DN节点下次心跳将这些工作带回给相应的DN执行块冗余操作，同时也会将各个数据节点上无效的数据块副本加入无效集合，等待下次心跳将这些工作带回给相应的DataNode执行删除无效块操作。

7.2.1.块冗余处理机制

在进行该部分分析前，首先分析下几个集合的作用，因为他们在这些工作中起到至关重要的作用。

名称	作用
neededReplications	类UnderReplicatedBlocks的一个实例，负责存储需要冗余副本的块集合，副本可能被冗余1份或多份；在数据块报告的时候，检查到块副本数量不够，就会将数据块加入该实例存储；在ReplicationMonitor中，将block及其target加入replicateBlocks队列后，将该块从neededReplications中删除；
pendingReplications	PendingReplicationBlocks的一个实例，在ReplicationMonitor中，将block及其target加入replicateBlocks队列后，同时将该块加入pendingReplications维护的一个集合，之所以会引入一个待定状态，因为如果在超时时间（默认5min）范围内，块副本冗余失败，可以重试；当数据块冗余成功，DN节点将该块副本报告上来后，会将该块从pendingReplications维护的集合中删除；
replicateBlocks	一个块队列，NN为每个DN节点维护了一个这样的集合，当计算确定数据块副本冗余到某几个DN节点后，会将block及其target加入该replicateBlocks维护的一个队列中，当source节点下次心跳后，会将这些信息返回给source节点，source节点就会将block副本冗余到相应的DN节点（可能几个）；