本文介绍了Hadoop 3.4版本与之前版本在Datanode删除副本逻辑的区别，主要在于3.4版本将删除操作集中在一个异步线程中，以减少异常。详细解析了invalidate方法的逻辑，包括从ReplicaMap删除副本、删除磁盘文件和IBR通知NameNode的过程。此外，文章还探讨了DirectoryScanner的作用，该类用于扫描磁盘和内存中的块差异，确保一致性。
- Hadoop-3.4版本和之前版本的datanode删除副本逻辑有哪些区别？
- invalidate方法的细节逻辑
- DirectoryScanner相关原理（scan方法、checkAndUpdate方法、发现corrupt之后的reportBadBlocks方法）
一、Hadoop-3.4版本和以前版本的删除逻辑的区别
1. Hadoop-3.4版本之前
异步删除副本replica的操作过程如下：
1、从ReplicaMap中移除replica信息
2、从磁盘上删除replica文件（异步，可能阻塞在线程池里）
3、通过IBR（增量块汇报）通知给namenode（异步，可能阻塞在线程池里）
Current the asynchronous delete of the replica operation process is as follows：
1.remove the replica from the ReplicaMap
2.delete the replica file on the disk [blocked in threadpool]
3.notifying namenode through IBR [blocked in threadpool]
订阅专栏 解锁全文
扫一扫
883
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
