HDFS对象存储：Ozone的块异步删除服务

最新推荐文章于 2024-08-07 10:19:32 发布

Android路上的人

最新推荐文章于 2024-08-07 10:19:32 发布

阅读量1.8k

点赞数

本文链接：https://blog.csdn.net/androidlushangderen/article/details/77619513

版权

本文介绍了HDFS对象存储Ozone的块删除服务，包括涉及的服务（KSM、SCM和DataNode）及其职责。KSM负责元数据更新和与SCM通信，SCM协调KSM和DataNode，而DataNode执行实际的删除操作。删除过程包括KSM的逻辑删除、SCM的持久化和DataNode的异步物理删除。整个流程涉及多次数据库更新和信息交互。

摘要由CSDN通过智能技术生成

前言

在HDFS的世界中，所有涉及元数据相关的操作都是在NameNode内完成的，真实进行文件读写和删除操作是在DataNode节点上完成的，完成好之后，再通过心跳的方式将结果汇报给NameNode。这种处理方式要比完全同步的方式好很多，尤其高吞吐数据量规模的情况下时，走同步的方式会很快遇到瓶颈的。当然了，HDFS NameNode这套机制相关文章已经写了很多了，本文笔者来介绍一个比较新的服务设计：HDFS对象存储的Ozone的块删除服务。Ozone在块删除服务的设计上要比现有的NameNode的块删除操作要复杂一些，因为它所涉及的不同服务之间的调用会更多一些。