HDFS学习笔记【Datanode/BlockManager】

油纸雨伞

已于 2023-04-02 21:51:20 修改

阅读量313

点赞数 2

分类专栏：大数据 Hadoop 文章标签： hdfs

于 2023-04-02 21:49:11 首次发布

本文链接：https://blog.csdn.net/xuschang/article/details/129912583

版权

Hadoop 同时被 2 个专栏收录

30 篇文章 1 订阅

订阅专栏

大数据

28 篇文章 0 订阅

订阅专栏

背景说明

Datanode存储多个块池的数据块，BlockPoolManager管理块池。

BlockPoolManager管理多个块池
BlockOfferService对象管理的单个块池
BlockServiceActor封装了对单个Namenode的操作

与Namenode交互

BockServiceActor与Namenode交互

心跳(heartbeat)
增量块（blockReceivedAndDeleted）
全量块（blockReport）
缓存块（cacheReport）

具体的块操作，还是FsDatasetImpl,FsVolumeList,FsVolume,BlockPoolSplic实现

BlockServiceActor

与单个的Namenode通信，独立线程。

NN握手，获得NS信息
向NN注册当前的DN
定向发送汇报信息
执行NN的指令

字段

nnAddr
state
NN状态
bpos
上一级BPOfferService的引用
lastBlockReport
bpThread
bpNamenode
NM RPC请求的代理
dn，dnConf
DN对象的引用
bpRegistration
shouldServiceRun
runningState
BPServiceActor状态，有CONNECTING，INIT_FAILED,RUNNING,EXITED,FAILED状态。
pendingIncrementalBRperStorage
保存汇报之间的DN存储块变化

构造方法

BPServiceActor(InetSocketAddress nnAddr, BPOfferService bpos){
	this.dn = bpos.getDataNode();
	this.dnConf = dn.getDnConf();
}

start，stop，join方法用于启动BPServiceActor的工作线程

start
BPOfferService调用，启动了直接返回，没启动守护线程的方式启动
stop
BlocakPoolManager调用
shouldServiceRun设置为false，中断bpThread线程
join
调用bpThread的join方法

工作线程的run方法

BPServiceActor.connectToNNAndHandshake()
初始化BockPool存储
NN上注册当前Datanode
BPServiceActor.offerService
循环调用，一直到shouldRunService字段为false时停止
定期向NN发送汇报信息
BPServiceActor状态机，表示线程的运行状态。

connectToNNAndHandshake

获取NN RPC代理
获取NS信息，确认NS信息
从NN获取NS信息
向BPOfferService确认NS信息，需要确认是否和之前NS一致(毕竟HA)
确认的是blockPoolId,nsId,Cluster是否一致
DN初始化块池
初始化了DataStorage对象
FsDatasetImpl对象
BlockScanner对象
DirectoryScanner对象
注册
向BPOfferService注册
向NN注册

offerService

BPServiceActor的主方法，在DN关闭/客户端手动修改shouldOfferService参数时，停止。

定期发送心跳
默认3s
DN注册信息
DN存储信息
DN缓存信息
DN写文件连接数
DN读写使用的线程数

public HeartbeatResponse sendHeartbeat(DatanodeRegistration registration,
StorageReport[] reports,
long dnCacheCapacity,
long dnCacheUsed,
int xmitsInProgress,
int xceiverCount,
int failedVolumes) throws IOException;

心跳响应
包括DatanodeCommand数组
包括NNHAStatusHeartbeat对象

public class HeartbeatResponse{
	private final DatanodeCommand[] commands;
	private final NNHAStatusHeartbeat haStatus;
	private final RollingUpgradeStatus rollingUpdateStatus;
}

心跳响应步骤
响应HA信息
bpos.updateActorStatesFromHeartbeat(),通过txid字段确定。
处理NN指令
processCommand(resp.getCommands());
这一部分是调用BPOfferService.processCommandFromActor()方法处理的。
汇报增加或者删除的block
300s
pendingIncrementalBRperStorage存储了DataStorage存储的两次汇报之间的数据块(发布响应模式)。
BPServiceActor提供了notifyNamenodeBlock方法，增加的话，立刻通知namenode(offerService方法)

notifyNmaenodeBlock(bInfo,storageUuid,now){
	synchronized(pendingIncrementalBRperStorage){
		addPendingReplicationBlockInfo();
		sendImmediateIBR = true;
		if(noew){
		//唤醒offerService方法，汇报给NN
			pendingIncrementalBRperStorage.notifyAll();
		}
	}
}

notifyNamenodeDeletedBlock()方法

数据块汇报
时间是6个小时，默认
调用DatanodeProtocol.reportReceivedDeleteBlocks()汇报最近添加删除的
FSDatasetImpl获取当前块池汇报信息
数据块汇报
cacheReport(10进行一次)
执行Namenode的携带指令
执行数据块扫描
线程睡眠等待
pendingIncrementalBRperStorage对象上等待，直到到期或者被唤醒(添加块)
忽略异常
除了Datanode注册信息错误，不合法(不在include列表),VERSION信息错误外，忽略。

BPOfferService

BPOfferService管理一个NS在一个Datanode上的块池
BPOfferService管理两个BPServiceActor的引用。（HA）模式。
BPOfferService管理多个Namnode引用哪个是Active的。(bpServiceToActive)

维护一些重要的信息
服务块池NS信息，块池在NS上的注册信息(NS,ClusterID,BPID),Active信息。

字段

NamespaceInfo bpNsInfo
当前BPOfferService服务的NS信息。握手得到
DatanodeRegistration bpRegistration
Namenode上的注册信息，Datanode注册时得到
DataNode dn
当前DataNode对象的引用
BPServiceActor
bpServices
当前命名空间中所有Namnode对应的BPServiceActor的列表。
lastActiveClaimTxId

方法

触发汇报
trySendErrorReport
reportRemoteBadBlock
reportBadBlocks
调用BPServiceActor对象对应的方法，reportBadBlocks
BPServiceActor调用ClientProtocol.reportBadBlocks向NM汇报
添加和删除数据块
BPOfferService.notifyNamenodeReceivedBlock()
BPOfferService.notifyNamenodeDeletedBlock()