Ozone的S3语义和FS语义

最新推荐文章于 2024-05-15 18:29:04 发布
最新推荐文章于 2024-05-15 18:29:04 发布
阅读量988 收藏
点赞数
分类专栏： Ozone 文章标签： Ozone FS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/androidlushangderen/article/details/109019089
版权
本文介绍了Ozone中S3语义和FS语义的区别与联合使用。S3语义允许自由的key命名，而FS语义则需要标准化key名并确保目录结构存在。在联合使用时，Ozone通过特定配置实现S3和FS语义的兼容，以处理混合场景下的读写操作。
摘要由CSDN通过智能技术生成

文章目录

前言

在Ozone中，众所周知，它最开始设计仿照的原型即是S3语义的存储模式：基于volume, bucket, key三层的存储模型，底层的key是实际存储的对象文件。至于里面对于volume, bucket, key级别的API操作，基本也是实现了S3现有支持的API操作。不过Ozone作为同样Hadoop生态圈内的一个项目，它需要与现有别的系统框架能够很好地协调工作。因此，Ozone内部实现了Ozone FS的语义，意思是说，外部别的框架可以使用文件系统API的方式来使用Ozone。简单来说，就是client可以对Ozone调用执行createFile，mkdir， listFile等等这样文件系统的API操作。至于这个里面Ozone是如何做FS API和实际底层Ozone bucket， key的存储，那是另外的原理实现了。OK，本文笔者要聊的重点是这里提到的Ozone内部的S3语义和FS语义。

Ozone的S3语义和FS语义

光看标题的术语，可能很多人不太能够理解，这里笔者给出具体的例子来说明。

S3语义，就是仿照S3存储/volume/bucket/key级别的存储模式，其中这里的key名称是可以不带任何限制的，比如key里可以带有 … 和 / 这种特殊的字符。

比如说是S3语义下，用户可以存入一个比较偏的key名称如下：
Key名称：/dir1dir2//…//dir3///file1
全路径：/volume/bucket/dir1dir2//…//dir3///file1

但是在FS语义下，我们就要对key的名称做标准化处理了&

最低0.47元/天 解锁文章
Android路上的人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ozone S3 Gateway：S3方式的适配存储
走在前往架构师的路上
02-15 1976
文章目录前言相关背景Ozone的S3方式的存储实现分析Ozone S3的Multipart Upload功能分析参考链接 前言 Ozone作为对象存储系统而言，在对于用户使用的方式上，我们难免会想到另外一个已经在业界十分成熟的对象存储系统：S3存储。不过本文笔者并不想比较二者系统孰优孰劣，从用户角度出发，在用户已经使用S3接口方式做对象存储时，我们是否有方式能够透明的将底层存储移到Ozone上。换言之来说，Ozone是否能够做到兼容S3接口方式的对象存储，这样客户端就不需要做大的改动了。Ozone在早期r
ceph安装实施规范+FS+S3.pdf
09-05
Ceph是目前最热门的软件定义存储(SDS)技术，正在撼动整个存储行业。它是一个开源项目，为块、文件和对象存储提供统一的软件定义的解决方案。Ceph的核心思想是提供一个分布式存储系统，该系统具有大规模的可伸缩性和高性能，并且没有单点故障。从根本上说，它被设计成在通用硬件上运行时具有高度的可伸缩性(可达艾字节（ExaByte）级别甚至更高)。 Ceph提供了出色的性能、巨大的可伸缩性、强大的功能和灵活性。它摆脱昂贵的专有存储。Ceph确实是一个企业级的存储解决方案，可以在普通硬件上运行;这是一个低成本但功能丰富的存储系统。Ceph的通用存储系统提供块存储、文件存储和对象存储，使客户可以随心所欲地使用存储。
Ozone FS Namespace的设计构想
走在前往架构师的路上
02-16 899
文章目录前言Ozone FS Namespace综述Ozone FS Namespace的结构设计 前言 之前笔者介绍过Ozone如何作为Hadoop兼容性文件系统供外部应用使用，就是我们所说的Ozone FileSystem。但是Ozone FileSystem在本质上并没有改变底层Key在Ozone中的存储形式，它只是做了一个从树型结构的路径到Ozone的volume，bucket，key的...
Ozone FS namespace下的全新metadata结构分析
走在前往架构师的路上
10-04 588
文章目录前言OzoneFileSystem的不足之处Ozone FS namespace的metadata结构Ozone FS基于Dir cache的高效查找引用 前言 Ozone作为又一个全新的存储系统，它在底层存储结构上和HDFS有着不小的区别，用户往Ozone内读写数据的方式也有所不同。不过为了兼容目前Hadoop FileSystem的读写，Ozone实现了一个叫做OzoneFileSystem的功能。通过使用OzoneFileSystem，用户能够使用往常Hadoop FileSystem的通用
Ozone FileSystem的内部原理实现分析
走在前往架构师的路上
02-01 2119
文章目录前言Ozone FileSystem的简单架构Hadoop FileSystem到Ozone的命名空间的转化Ozone FileSystem的“虚假”目录的处理Ozone FileSystem相关代码实现分析相关阅读 前言 在前一篇文章中(Ozone作为Hadoop FileSystem的配置使用)，笔者介绍了Ozone作为Hadoop兼容性文件系统来使用的配置说明，也给出了简单的使用例...
Ozone Datanode ContainerStateMachine语义实现
走在前往架构师的路上
02-23 710
文章目录前言ContainerStateMachine对于StateMachine/RaftLog的语义实现 前言 上篇文章里笔者介绍了Ozone中使用的Apache Ratis的内部一致性实现原理，得益于底层的一致性封装实现，在Ozone层面，它只需要调用此库并实现自定义的StateMachine方法即可。在Ozone Datanode中，就自定义了ContainerStateMachine来...
Ozone-ThreadX:用于SEGGER Ozone调试器和ThreadX的RTOS感知插件
05-22
Ozone ThreadX RTOS插件 此插件在SEGGER Ozone调试器中启用了ThreadX rtos意识。 已使用3.22a版进行了测试。 安装 将文件ThreadX.js复制到Ozone安装目录中的Plugins / OS 通过在Ozone控制台中调用Project....
Hadoop学习资料
programmerDingl的博客
10-03 1033
Hadoop笔记 一、概述 大数据 大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 大数据的5V特点（IBM提出）： Volume（大量） Velocity（高速） Variety（多样） Value（低价值密度） Veracity（真实性） Had...
day34~35_Hadoop介绍及集群安装
qq_36972345的博客
08-24 741
一、大数据简介以及服务器硬件基础 （一）什么是大数据 全球第一家信息技术研究和分析的公司Gartner给出定义：大数据指的是在一定的时间范围内无法使用常规软件进行存储、计算的数据集合。 通俗理解：描述的是人类在信息爆炸时代所产生的海量数据。 大数据岗位的职责：使用特殊的软件、架构来存储、计算海量的数据。 （二）大数据特点 如何存储、计算海量数据？ 我们需要了解这些海量数据的特点，IBM公司提出，大数据具备以下5V的主要特点： 体量大（Volume）：数据集总体规模比较大，..
s3fs:S3 FileSystem（fs.FS）的实现
05-10
s3fs 软件包s3fs为Go1.16接口提供了S3实现。 由于S3是平面结构，因此s3fs通过使用前缀和“ /” delim来模拟目录。 目录上的ModTime始终为零值。 该实现将包装为s3客户端。 const bucket = "my-bucket" s , err := session . NewSession () if err != nil { log . Fatal ( err ) } s3fs := s3fs . New ( s3 . New ( s ), bucket ) // print out all files in s3 bucket. _ = fs . WalkDir ( s3fs , "." , func ( path string , d fs. DirEntry , err error ) error { if err != nil
01--大数据Hadoop部署
最新发布
qq_43387908的博客
05-15 905
大数据基础概念，hadoop的模式部署等实用的基础概念
hadoop 伪分布启动-fs格式化
09-03 184
1.独立模式(standalone|local) 　　nothing! 　　本地文件系统。 　　不需要启用单独进程。 2.pesudo(伪分布模式) 　　等同于完全分布式，只有一个节点。 　　SSH: //(Socket), 　　//public + private　　/server : sshd ps -Af | grep sshd 　　//clint :...
Hadoop3 - 基本介绍与使用
小毕超博客
10-03 2275
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。广义上来说，Hadoop通常是指Hadoop生态圈，狭义上说，Hadoop指ApacheHDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算。
Hadoop小文件利器Ozone
微信搜：import_bigdata，大数据领域硬核原创作者
02-24 1859
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Ozone诞生的背景众所周知，HDFS是大数据存储系统，并在业界得到了广泛的使用。但是无论大集...
文件系统：s3fs简介
GIS摆渡人
03-31 693
参考：https://github.com/s3fs-fuse/s3fs-fuse。
s3fs挂载对象存储到本地
wq1205750492的博客
11-19 7023
S3FS是Google开发的一款支持将对象存储中的bucket以文件形式导出的文件系统接口，兼容POSIX语法S3FS基于FUSE开发的文件系统，允许Linux和Mac OS 挂载S3的存储桶到本地文件系统，并保持对象原来格式。只要支持S3存储协议的都支持挂载，比如minio、华为云OBS、阿里云OSS等。
ice通信原理_Ozone原理|Goofys+s3g+Ozone通信原理及性能调优
weixin_33638349的博客
12-28 891
整体架构通过Goofys作为fuse程序，可以创建一个fuse类型的挂载点，将这个挂载点上的文件系统请求，发送到Goofys中进行处理，而Goofys可以把接收到的文件系统请求通过s3api，转发到aws s3对象存储中，也可以转发到实现了基于http协议s3api标准的Ozone s3gateway(简称s3g)中。s3g作为s3api的实现者，因此可以融入s3生态，与此同时，s3g作...
ubuntu和centos系统使用s3fs挂载对象存储
U1172899081的博客
09-05 1397
注意挂载加一个参数 指定挂载大小 -o bucket_size=一个可选的整数，后面跟一个乘法后缀(GB、 GiB、 TB、 TiB、 PB、 PiB、 EB、 EiB)(中间没有空格)touch /etc/passwd-s3fs （文件可以随便起名或者放哪个目录下，不过后面参数数值也需要随之改动）echo ak:sk >/etc/passwd-s3fs （将ak和sk写入到文件中，ak，sk从各云服务商获取）将挂载信息写入/etc/fstab中。将挂载信息写入/etc/fstab中。
Chromium Ozone和Chromium区别
05-26
Chromium是一个开源项目，是Google Chrome浏览器的基础代码。它包含了浏览器的核心功能，比如渲染引擎、JavaScript引擎等。而Chromium Ozone则是Chromium项目中的一个子项目，它提供了一种新的图形用户界面（GUI）架构，旨在将Chromium从特定操作系统的窗口系统中解耦出来，使其更易于在不同的平台上运行。因此，Chromium Ozone主要是用于构建跨平台的Chrome浏览器。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值