HDFS 源码阅读（NameNode，DataNode）

最新推荐文章于 2022-07-27 10:05:12 发布

铁头乔

最新推荐文章于 2022-07-27 10:05:12 发布

阅读量519

点赞数

分类专栏： Hadoop 文章标签： hadoop 源码

本文链接：https://blog.csdn.net/qiaojialin/article/details/84396025

版权

本文深入探讨HDFS的NameNode和DataNode。NameNode的FSNamesystem管理PendingReplicationBlocks和UnderReplicatedBlocks，通过ReplicationMonitor进行复制任务调度。DataNode则启动DataXceiverServer负责数据接收与存储，执行来自NameNode的复制和失效任务。

摘要由CSDN通过智能技术生成

NameNode

FSNamesystem

// 包括三个守护线程
private void initialize(NameNode nn, Configuration conf){
	// 心跳监控
	this.hbthread = new Daemon(new HeartbeatMonitor());
	// 租约管理
	this.lmthread = new Daemon(leaseManager.new Monitor());
	// 复制文件块
	this.replmon = new ReplicationMonitor();
	this.replthread = new Daemon(replmon);
}

// NameNode 接收到 DataNode 的 block 回复后，更新等待列表和 block 位置信息。
pendingReplications.remove(block);    
addStoredBlock(block, node, delHintNode );

PendingReplicationBlocks：保存当前正在复制的块的状态。守护线程 PendingReplicationMonitor 记录复制超时的块。
- PendingBLockInfo，用来记录正在复制的副本数量，每复制好一个就减一个，减到 0 就复制好了。
ReplicationMonitor：定期启动复制工作
- UnderReplicatedBlocks：保存当前需要复制的块的状态。根据一个块的现有状态（当前副本数，失联副本数，预期副本数）设定优先级，共有三个优先级。
- computeDatanodeWork()：计算 DataNode 的任务，

最低0.47元/天解锁文章