HDFS Ozone整体概述

本文概述了HDFS Ozone对象存储系统,包括其高层设计、Ozone Client、Ozone FileSystem、Key Space Manager和Storage Container Manager等关键组件。Ozone旨在为Apache Hadoop提供亿万数量级对象存储,并通过Ozone FileSystem实现与现有框架的兼容。Key Space Manager管理命名空间,而Storage Container Manager负责管理数据存储的Container。Ozone Client支持RPC和RESTful通信,并有Corona工具进行性能测试。
摘要由CSDN通过智能技术生成

前言


HDFS Ozone对象存储最近会有一个大动作:merge到主代码分支。这就动作具有十分大的意义,因为它意味着Ozone将在下一个最近发布的hadoop版本中出现并可以被广大用户所使用。所以在这个背景下,Ozone第一版本的代码和结构基本已经确定完毕,这个时候,我们再从大的层面来学习、了解这个框架、体系显然还是很有必要的。官方社区已经有许多相应的介绍文档在介绍这方面的内容了。笔者也大致阅读了一下,来简单概述其中一些要点。

Ozone高层设计


首先要明白Ozone是用来干什么的:

基于Apache Hadoop之上用来做亿万数量级对象存储的。

Ozone第一版本内部的架构图如下所示:


下面,笔者依次从上到下介绍其中相关的组件。

Ozone Client


Ozone client客户端在Ozone内部是一个对外部开放使用的模块,比如说Ozone相关的shell命令会触发到ozone client,这就是图中显示的Ozone Cli。

再来说说图中左上角的Rest Handler。这是什么意思呢?Ozone client能够支持2种方式的通信:RPC方式和Restful接口的方式。其中能做到一键切换。

Corona是Ozone内部的性能测试工具,它的原理是利用Ozone客户端接口来做一些benchmark。它可以分为2种模式:online和offline模式。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值