分布式对象存储

于 2023-10-13 15:01:59 发布
阅读量549 收藏 1
点赞数 1
分类专栏： 分布式 对象存储 文章标签： 学习 分布式 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kukudeYSB/article/details/129349733
版权

参考《分布式对象存储----原理、架构以及Go语言实现》（作者：胡世杰）

对象存储简介

数据的管理方式

以对象的方式管理数据，一个对象包括：对象的数据、对象的元数据、对象的全局唯一标识符

访问数据的方式

在这里插入图片描述

可扩展的分布式系统

接口和数据存储分离的架构

在这里插入图片描述

  1. 接口实现对象的存取

  2. 接口通过 RabbitMQ 消息队列进行通讯

    1. 向某个 exchange 进行一对多的消息群发

      1. apiServices exchange 每一台接口服务节点都会接收到任意一台数据服务节点的心跳

      2. dataServices exchange 所有数据服务节点绑定该 exchange 并接收来着接口服务的定位消息，拥有对象的数据服务节点会使用消息单发通知该接口服务节点

        当发送一条信息给 dataServices exchange 时，定位成功后，将会创建一个反馈信息的临时队列，临时队列将在一定时间后关闭

    2. 向某个消息队列进行一对一的消息单发

REST接口

  • GET 提供一个 locate接口 在这里插入图片描述

    客户端通过GET方法发送对象定位请求，接口服务节点收到请求后会向数据服务层群发一个定位信息，然后等待反馈。如果存在则返回该数据服务节点的地址

RabbitMQ 消息设计

数据服务心跳信息

在这里插入图片描述

接口服务的定位信息及反馈

在这里插入图片描述

对象PUT流程

在这里插入图片描述

在这里插入图片描述

对象GET流程

在这里插入图片描述

元数据服务

散列值与散列函数

在这里插入图片描述

在这里插入图片描述

计算散列值的算法推荐

书上的例子为 SHA-256 更高级别的有SHA-512

加入元数据服务的框架

书中建议是使用ElasticSearch

我们项目选择的是MySQL对元数据进行存储

REST接口

  • GET新增一个参数version

在这里插入图片描述

表示对象数据的版本默认状态下是最新版本

  • PUT需提供一个名为 Digest 的 HTTP 请求头，和一个名为 Content-Length 请求头

在这里插入图片描述

  • DELETE只需要删除元数据而数据节点继续保存数据，知道所有元数据都被删除

在这里插入图片描述

  • 查询指定对象的所有版本

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

ES接口（MySQL）

对象PUT流程

在这里插入图片描述

对象GET流程

在这里插入图片描述

数据校验与去重

需要数据校验的原因

在这里插入图片描述

给数据加入缓存功能

在数据服务层再加入一个缓存服务

数据服务的REST接口

  • 以POST方法访问数据服务temp接口在URL中指定数据对象的散列值，并提供一个名为size的HTTP请求头，用于指定对象的大小。这会在数据服务中创建一个临时对象，该接口返回一个随机生成的uuid用于标记临时对象

在这里插入图片描述

  • 将对象内容发到数据服务temp接口，并写入临时对象

在这里插入图片描述

  • 根据对比散列值的结果进行操作

在这里插入图片描述

对象PUT流程

在这里插入图片描述

数据冗余与即使修复

对象存储的数据冗余策略

在这里插入图片描述

断点续传

数据压缩

数据维护

kukudeYSB
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
聊一聊分布式对象存储
字节跳动 内推找我
11-12 7937
1. 前言 今天来聊聊我正在读的一本分布式对象存储的书籍。 前天11月10号，想着京东有满200-100的活动，就买了一些书，准备沉淀一下。自己打算在分布式系统上搞几年，所以买的书基本上都是关于分布式存储的。本身也没想着买一些分布式系统的经典教材，就随便选了几本京东上销量比较高的，偏实用一些的书籍。权当心血来潮，未经过任何调研。 当前看的这本是《分布式对象存储-原理，架构和go语言实现》。 2. ...
分布式对象存储Ambry - 官方博客翻译与摘录（2）Ambry设计目标
hashcon
10-10 5728
原文地址Ambry工作原理1. 设计目标1.1 高可用以及水平可扩展系统需要支持实时传输，如果出现不可用的话会显著的影响系统。这意味着系统需要高可用。我们的目标是每个月正常运行的时间在99.95%以上，相当于每个月中最多只有20分钟系统不可用。 另一个痛点是，我们希望新系统集群扩容时越无缝越好。在很多的分布式系统中，扩容真的很难，主要因为有太多部分需要移动，而且网络拓扑很复杂。我们希望扩容简单，而
分布式对象存储系统
07-01
ppt资源，描述存储行业当前现状，块存储、文件存储、对象存储相关知识、以及分布式概念。
分布式应用架构中的数据传输对象（DTO）
weixin_33725515的博客
12-03 197
分布式应用架构中的数据传输对象（DTO）   Written by: Rickie Lee Dec. 1, 2004 在分布式架构中，相关层在物理部署上实现分离，通过网络或跨进程调用远程对象或服务。在这种分布式架构中，需要定义有效的数据传输对象（Data Transfer Object, DTO）来实现层与层之间的数据传输。 因为远程调用需要跨越网络或进程，因此会比较慢。通过使用DTO，在单一远程...
分布式对象存储解决方案
wjandy0211的博客
05-25 1953
分布式对象存储解决方案 OSS（Object Storage Service）俗称对象存储，主要提供图片、文档、音频、视频等二进制文件的海量存储功能。目前除了公有云提供对象存储服务外，一般私有云比较关心一些开源的分布式对象存储解决方案，本文列举了一些常见的技术方案供参考。 概念普识 块存储 通常SAN（Storage Area Network）结构的产品属于块存储，比如我们常见的硬盘、磁盘阵列等物理盘。 文件存储 一般NAS（Network Attached Storage）产品都是文件级存储，
分布式对象存储面临的挑战
05-25
分布式对象存储面临的挑战
腾讯云分布式对象存储架构设计与实践.pdf
05-08
腾讯云分布式对象存储架构设计与实践
面向科研领域的分布式对象存储系统
05-06
该系统以对象存储系统为核心架构, 以开源的Ceph分布式存储系统和MongoDB数据库作为对象数据和元数据的存储载体, 设计通用的基于HTTP和FTP协议的数据接口, 同时利用多副本和纠删码技术消除单点故障, 配合Zabbix集群...
分布式对象存储优化.pptx
最新发布
05-20
分布式解决方案,行业方案
云平台技术选型之七：分布式对象存储
06-14
云平台技术选型之七：分布式对象存储，对市面上的分布式对象存储OSS方案进行了调研，并确定了最终的选型
推荐：一款分布式的对象存储服务
weixin_34033624的博客
12-21 465
最近公司在准备内部数据上云，并且内部数据库每天的数据量很大，需要采用大数据存储的方案。 方案调研每个程序技术在实现之前，需要进行开源产品的调研，适合自己产品的技术方案才是最好的。 需求我们需要处理是图像信息，大小在1M左右。 供以后各个项目组用来拉取图像。 自定义了一个按照标准存储的一批图像，这批图像大小可能在几百兆或者小到几兆大小 技术选型我们选取了两...
分布式对象存储学习笔记（四）——元数据服务
weixin_42149424的博客
05-15 954
元数据服务就是提供对元数据的存取功能的服务。元数据指的是对象的描述信息。对象的名字、版本、大小以及散列值等。这些都是系统定义的元数据，因为它们的存在对一个对象存储系统有实际意义，比如说客户端和接口服务之间根据对象的名字来引用一个对象；一个对象可以有多个版本，除了删除标记外，每个版本实际都指向数据服务节点上的一份数据存储。自定义的元数据通常是以键值对形式保存的任意描述信息，比如一张照片的拍摄时间和拍摄地点，一首歌的作者和演唱者等。
分布式对象存储服务器minio
ZhengXinMing1998的博客
08-18 6126
分布式存储服务器简单解释为将数据分布在多个存储型服务器上，并且这些分散的存储资源可以构成一个虚拟化的存储设备，但是现实是数据是分散存储在企业的各个角落。例如：您需要存储10PB的一个视频文件，但是您的个人电脑发生故障无法存储，需要存储在多个香港服务器上，每台香港服务器看作是一个datanode，在获取文件时，逐一去访问效率低。所以安排一个中间人来存放文件在哪台服务器的信息，通过这个中间的服务器信息更快找到文件。这个中间人称namenode，存储关于文件的信息称之为元数据。......
一网打尽！超详细的分布式对象存储 MinIO 实战教程
民工哥的博客
12-15 981
点关注公众号，回复“1024”获取2TB学习资源！前言MinIO的基础概念和环境部署可以参考我之前的文章：高性能分布式对象存储 MinIO 部署实战客户端操作MinIO Client（mc）官方文档：https://docs.min.io/docs/minio-admin-complete-guide.htmlMinIO Client (mc) 为 UNIX 命令（如 ls、cat、cp、mirr...
分布式概念：分布式存储
Linzhongyilisha的专栏
06-02 975
把数据分布在多台存储节点上，可以为大规模应用提供大容量、高性能、高可用、高扩展的存储服务。而，分布式存储系统就是其具体实现。 分布式存储系统的核心，是将用户需要存储的数据根据某种规则存储到不同的机器上，当用户想要获取指定数据时，再按照规则到存储数据的机器里获取。 当用户（即应用程序）想要访问数据 D，分布式操作引擎通过一些映射方式，比如 Hash、一致性 Hash、数据范围分类等，将用户引导至数据 D 所属的存储节点获取数据。 数据 根据数据的特征，这些不同的数据通常被划分为三类： 结构化数.
Ceph分布式存储系列（六）：对象存储、块存储、文件存储的区别和优缺点
jj1130050965的博客
02-24 1356
承接上文Ceph分布式存储系列（一）：Ceph工作原理及架构浅析梳理 分布式存储总体分为对象、块、文件三种存储类型，且ceph同时支持这三种存储类型，那么这里再简单谈一下三种存储类型的差异点及各自优势和适用环境。 回顾存储史 之 三种传统的存储架构： 了解三种存储类型之前，先来回顾下传统以来的 三种存储架构： DAS（Direct Attached Storage） 传统的直连式存储，硬盘等物理存储与设备直连的方式，如个人电脑，普通服务器等 连接方式：客户端 - - 物理硬盘 SAN（Network
分布式对象存储学习笔记（七）——断点续传
weixin_42149424的博客
05-17 1783
实现断点续传功能。断点续传功能分两部分，分别是断点下载和断电上传。
分布式对象存储设计原理
JavaEdge全是干货的技术号
01-01 1960
保存像图片、音视频这类大文件就是对象存储。不仅有很好的大文件读写性能，还可通过水平扩展实现近乎无限容量，并兼顾服务高可用、数据高可靠。对象存储“全能”，主要因，，相对于MySQL、Redis这类单机存储系统来说。虽然这些非原生存储系统，也具备集群能力，但它们构建大规模分布式集群非常不容易。这些原生分布式存储如何实现这些特性？“互相抄作业”，除了存储的数据结构不一样，提供的查询服务不一样以外，这些分布式存储系统，面临的很多问题都一样，实现方法差不多。
分布式对象存储 pdf
11-10
分布式对象存储（Distributed Object Storage）是一种数据存储方式，它将数据分布存储在多个节点上，通过对象存储的方式管理和访问数据。PDF是一种常见的文档格式，通常用于存储和传输电子文件。 在分布式对象存储中，PDF文件可以被分割成多个对象，并存储在不同的节点上，这样可以提高文件的可靠性和可用性。当用户需要访问这些PDF文件时，系统会根据需求来获取所需的PDF对象，然后进行组装，使用户能够完整地查看或下载文件。 分布式对象存储还可以提供高效的数据复制和备份功能，确保文件在节点发生故障时不会丢失。此外，分布式对象存储还支持数据的动态扩展，当存储需求增加时，可以通过增加节点来扩展存储容量，从而满足不断增长的PDF文件存储需求。 总之，分布式对象存储为PDF文件的存储和管理提供了可靠性、可用性和灵活性的保障，使得用户能够更加方便地管理和访问大量的PDF文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

kukudeYSB

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值