HDFS的新方向：Ozone对象存储

最新推荐文章于 2024-08-07 10:21:44 发布

Android路上的人

最新推荐文章于 2024-08-07 10:21:44 发布

阅读量7.3k

点赞数 3

分类专栏： HDFS Hadoop Ozone 文章标签：对象存储 hdfs

本文链接：https://blog.csdn.net/Androidlushangderen/article/details/71006240

版权

本文介绍了Ozone作为HDFS内的对象存储服务的起源、核心设计及使用方式。Ozone采用volume-bucket-object三级结构，通过创建volume和bucket来存储对象。其底层设计中，Container作为基本存储单元，确保数据的高可用性。Ozone的调用过程包括向KSM和SCM服务请求Container定位和获取。

摘要由CSDN通过智能技术生成

前言

HDFS在近几年中得到了迅速的发展，作为性价比比较高的存储系统，用户、企业只需利用若干台低配廉价的节点机型，就可以构建能够承受TB甚至PB级别的大数据集群，然后在上面做各种类型任务的作业，而且在底层方面，我们完全可以依赖HDFS自身实现的容错机制来应当各种异常情况。但是在当今数据使用场景日益多元化的背景下，HDFS并不是能满足所有的应用需求。如何能够以一种更加高效，方便的方式去存储用户想要保存的数据，成为了一个急需去解决的问题。于是后面诞生出了一个企业级的存储方案：对象存储。对照存储的出现直接方便了一些抽象数据类型的存储。目前市面上也已经有许多相应的对象存储服务，当然了，社区也意识到了这一点，于是在2014年的时候提出了一个观点：基于HDFS内部，提供一个对象存储的服务，名叫Ozone。本文笔者就来好好聊聊这个话题。我们来聊聊Ozone目前的情况以及它未来的一些动向。