【HDFS】FsDatasetImpl系列文章(七):finalizeBlock方法和unfinalizeBlock方法

176 篇文章 152 订阅 ¥29.90 ¥99.00
本文详细解析了HDFS中FsDatasetImpl的finalizeBlock和unfinalizeBlock方法。finalizeBlock主要在block写入完成后调用,确保数据安全存储;而unfinalizeBlock用于在特定条件下撤销未完成的block写入,删除临时文件。这两个方法在数据复制、balancer及客户端写入等场景下发挥关键作用。
摘要由CSDN通过智能技术生成

一、finalizeBlock

1.1 调用点&调用场景

主要用于完成block的写入。调用点有两处:
① BlockReceiver#receiveBlock方法里:
这个调用场景发生在:datanode在所有的packet都接收完了之后,如果是数据复制、balancer、或者stage是TRANSFER_FINALIZED的情况下,调用finalizeBlock。

② BlockReceiver.PacketResponder#finalizeBlock:
这个场景发生在client写datanode的场景,datanode侧接收到了block里最后一个packet。然后就会去finalize这个块,并且向namenode发送IBR告诉namenode收到了这个块,并且是Block_Received。

1.2 finalizeBlock具体实现逻辑

  /**
   * Complete the block write!
   */
  @Override 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叹了口丶气

觉得有收获就支持一下吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值