去中心化的 S3，CESS 首创去中心化对象存储 DeOSS-CSDN博客

本文链接：https://blog.csdn.net/CESS_Cloud/article/details/139103997

Web3 在各个领域的应用和发展已成为讨论的焦点，尽管行业对 Web3 的定义各不相同，但一个普遍的共识是 Web3 赋予了用户对其数据的所有权和自主权。这一转变在我们的生活和工作与数字化越来越深入地融合之际至关重要，这意味着所有人类活动很快将以数据流的形式呈现，也就是说我们的各类行为都将被作为数据而被记录，一个庞大而复杂的数据生态系统将是 Web3 行业乃至全人类的数字生活的底层形态。

如何有效地存储、管理、使用和共享数据资源，如何真正释放数据价值享受数据价值，成为了企业和个人正在共同面临的问题。Web3 数据解决方案以其所有权回归成为了新的数据分配关系的实现手段，以 CESS 为代表的 Web3 数据基础设施通过提供了一个开放的、去中心化的、无需许可、用户掌握数据主权的数据经济新生态。

然而，Web3 数据领域依旧面临着数据丢失率高、存储空间利用率低、数据使用受限如检索速度慢、数据流通和交换受限、缺乏数据隐私管理等等问题。而其中最为关键的是 Web3 行业中的大规模商业应用存储没有得到有效的解决方案，这将从基础设施层面限制 Web3 真正实现大规模的应用，限制互联网下一个时代的完全到来。

本文将从以下几个角度，介绍 CESS 首创的去中心化对象存储服务 DeOSS，以及其如何解决数据存储领域面临的问题。

去中心化对象存储服务 DeOSS 技术原理分析
对比分析「DeOSS」与「OSS」服务性能、安全与成本
DeOSS 应用场景与产品使用指南

为何需要去中心化的对象存储服务

从大规模商用存储需求来说，每个用户的在互联网数字生活中所产生的海量非结构化数据，如图像、视频和日志文件，由于其格式多样、体积庞大，成为了企业和个人生成和消费的主要数据类型。对象存储（Object Storage Service，简称 OSS）服务应势而生。对象存储是一种针对非结构化数据的存储和管理技术，能够提供大规模、可扩展并且经济高效的存储服务，如 Amazon S3 就是行业闻名的对象存储服务。然后行业目前的 OSS 因其中心化的特性，使用户面临着数据主权缺失、易受数据泄露影响、数字身份和数据被出售给第 3 方等等痛点问题。

与此同时，随着 Web3 应用的快速发展，特别是依赖实时数据流的 Dapps，需要对高频动态数据进行快速有效的处理和存储，以保证应用的响应速度和用户体验。此外，新一代互联网对数据存储的安全性、隐私性和数据所有权有着更高的要求，存储领域正探索更加高效、安全和可扩展的解决方案。

针对上述存储问题与需求，CESS 首创了去中心化的对象存储服务 DeOSS。CESS 旨在通过去中心化技术和创新的存储协议，为非结构化数据、高频动态数据以及大规模商用存储提供可靠的支持。这不仅能够促进 Web3 生态的健康发展，也为用户提供更优质的服务，推动数据驱动的新时代向前发展。DeOSS 不仅能满足企业级非结构化数据存储需求，而且可以为企业提供高安全性、可扩展和隐私管理的高性能存储服务。

认识「去中心化对象存储服务 DeOSS」

去中心化对象存储服务（Decentralized Object Storage Service，简称 DeOSS）是一种去中心化的基于对象的海量存储服务，为 Web3 领域提供低成本、安全、可扩展的分布式数据存储服务。

无论是个人还是企业都可以使用 DeOSS 存储、管理和保护数据，例如 NFT 的图像和视频、DAPP 的用户数据、Defi的程序等。基于区块链技术，DeOSS 将线上闲散存储资源有效利用起来，构建庞大的分布式存储网络。

DeOSS 的使命是让数据权益回归到数据产生者本体，而不是属于中心化的机构；DeOSS 遵循 Apache2.0 开源协议，允许任何人在任何时间和地点部署，并且能够自由地访问存储在世界各地的文件。

产品介绍

产品原理

DeOSS 将提供一个标准存储方法，以实现存储的基本功能，如存储空间购买、存储容器创建删除访问限制、文件上传下载删除分享访问限制，以及用户的操作限制。

DeOSS 产品架构

具体而言，用户的数据以对象（Object）形式进行存储在容器（Bucket）中。在使用DeOSS存储数据过程中，您需要先创建存储容器，并指定地域、访问权限、存储类型等属性。数据将以对象形式上传至存储容器，且每个对象包含了用户数据（Data）、数据标签（Metadata）和文件地址（Key）以作为其唯一标识。

DeOSS 的存储空间内部是扁平的，没有文件目录层级结构的关系。因此，数据对象直接隶属于其对应的存储空间。企业可选择自行搭建网关供外部访问，也可以使用现有的网关。这样在用户通过域名进行访问时，DeOSS 网关会将用户请求转发至对应的存储服务。

产品特性

- 去中心化：DeOSS 是 CESS 去中心化网络中的基于对象的海量存储服务，支持通过 HTTPS 加密在线传输数据，保证数据传输中与存储时的安全与隐私。

- 高扩展性：每个账户最多可管理 1000 个桶，每个桶无空间限制，提供海量存储能力。

- 数据所有权：您对您的数据及其所有权拥有控制权，可以选择隐私存储，与特定人员共享，或完全公开，以及不受干扰地删除数据的能力。

- 抗审查：任何用户都可以根据协议规定，控制自己的数据，避免其他实体因素的干扰。

- 毫秒级数据检索：支持数据在线实时共享，以及灵活的文件管理。

DeOSS 适合存储什么？

DeOSS适合存储网站与应用中的高清图片、音频、视频、备份文件等，以及各种DApp应用、网盘应用的文件。

DeOSS 适合谁使用？

DApp, NFT 和 Web3 应用开发者，SocialFi 开发者以及有大规模数据存储需求的用户使用。

如果您是非开发者用户，可以通过前往 CESS 官网体验 DeOSS。

如果您是开发者，可以使用 HTTP 请求体验 DeOSS。

参与链接：https://www.cess.cloud/deoss.html

系统架构

与主流分布式系统架构不同，DeOSS 在底层实现了与 CESS 区块链高度融合，形成了独特的开放式、去中心化的去中心化对象存储体系。系统架构总体分为四层，如下图所示，分别为应用层、服务接口层、区块链层和存储服务层。应用层为用户提供交互友好的文件对象管理服务。接口层作为应用层与区块链层的中间件，使得 DeOSS 可以为各类自定义应用提供对象存储服务，实现了服务功能的开放。

DeOSS 系统架构

区块链层

区块链层作为 DeOSS 架构的核心内容，将调度程序、存储矿工以及用户应用程序连接起来，提供文件元数据管理，用户存储空间管理，调度和存储矿工账户管理等重要功能。区块链层基于 CESS 链作为基础设施，采用自研的高效共识算法 R²S。（机制详解参见《CESS机制详解(2)：区块链层与随机选取轮值(R²S)共识节点机制》一文）DeOSS 还具备灵活的存储扩展能力，任意满足资质的账户可申请成为调度节点或存储矿工，为 DeOSS 提供服务并获得奖励。

服务接口层

DeOSS 服务接口层实现了常用代码库的模块化封装，因此应用层只需实现少量接口就能提供完整对象存储服务，DeOSS 应用层服务架构如下图所示。目前 DeOSS 提供了两种应用模式：基于命令行的 Go 客户端模式和基于 Gin 框架的服务器模式。二者均需简单的配置即可以快速启动服务。用户也可根据需求自由添加功能模块接口，而无需关心内部代码实现细节。

DeOSS 应用层服务架构

应用层

DeOSS 应用服务具有清晰的三层架构。

网络连接层为上层提供用户交互、数据对象传输和链上功能调用等基础服务。

内部服务层处理来自交互层的用户数据文件，提供诸如数据确权、文件分片与冗余、文件声明等预处理程序，并将处理后的内容交由调度程序调度。另一方面，还负责处理来自链端和存储矿工端的数据。

交互层负责用户与 DeOSS 之间的交互，形成完整的服务闭环；

此外，DeOSS 还提供数据加密与解密、系统日志等额外服务支持。

文件传输协议

DeOSS 采用面向可靠传输的 TCP 协议作为底层通信协议，在此基础上建立安全可靠的文件传输机制，文件传输协议如下图所示。应用的服务层发起文件发送或接收请求时，首先与接收/发送方建立 TCP 连接，再通过 DeOSS 文件传输协议的握手机制建立文件分片字节流传输通道。

DeOSS 数据通信协议

DeOSS vs OSS

DeOSS 除了具备当前市面上已有的对象存储产品的优势（例如高可靠、易扩展、低成本、高安全等），还具备抗审查、数据所有权归属用户等特性。当前 Web2 的对象存储服务，比如 AWS、阿里云的 OSS 都是中心化的存储，如前文所说，用户使用OSS存储服务将面临数据被监管和垄断的风险。而用户通过 DeOSS 上传的数据，是基于 CESS 区块链技术实现了去中心化的存储，数据的所有权是归用户所有。用户可以通过 DeOSS 授权给某些应用来使用，当然这些应用并不能控制用户所授权使用的数据。

以下是 DeOSS 和 OSS 的详细对比。

对比项	DeOSS	OSS	自建存储服务
存储性能	—提供标准接口，方便上传、下载、检索、管理海量数据；—存储空间可扩展。可根据需求无限扩展存储空间；—支持流式写入读取。满足同步读写等各样业务场景；—提供数据生命周期管理。实现数据归档删除等数据操作；	—存储受硬盘容量限制；—不支持流式读取；—数据管理受限；
安全	数据在服务器端和客户端上都能够进行加密处理和权限管理；	需要单独购买或配置安全机制服务，安全性难以保障；
去中心化对象存储的安全性由SGX 可信环境，以及证明算法共同保障，不存在第三方干预；	数据托管给第三方机构，存在监管、垄断及数据泄露的风险；
成本	—无需运维人员与托管费用；—带宽资源充足，上行流量免费；	成本高用户在承担存储费用的同时，还无法享受到数据价值	运维人员与托管成本高，且扩容受硬件条件制约；
去中心化存储矿工能够自治文件，提高了资源利用率，实现企业与用户双赢；

通过上表中对比可知，DeOSS 不仅具备当前市面上已有的对象存储（OSS）产品在存储性能、成本等方面的优势，尤为值得注意的是 DeOSS 的去中心化属性，使该存储服务突破了以往存储服务在安全、数据确权与效益方面的桎梏。而这正是当下企业级大数据存储亟需解决的问题。 DeOSS 应用场景在传统应用领域，DeOSS 去中心化对象云存储能够如同亚马逊云，谷歌云一样进入商用云的业务范畴。通过 DeOSS 可以为企业和个人提供所有类别的云存储服务，满足各种各样的使用案例，其中包含但不限于以下：

分布式文件系统--分布式文件存储不仅可以用于个人用户的备份和共享，也可为企业提供大规模商用存储服务

社交媒体--以高效、安全、可扩展且支持大规模存储的特性，DeOSS 满足了社交应用对海量用户数据的安全存储、实时更新和用户数据主权的需求

流媒体应用--DeOSS 对高清图片、音频、视频等大型文件的创建、存储和流式传输提供最佳解决方案

数据交易市场--DeOSS 支持数据价值化和数据价值的流通、共享，为数据交易市场的建立提供基础

区块链 DA 层--DeOSS 可为 Layer 1 的块数据和状态数据、Layer 2 rollup 解决方案中的交易数据提供低成本、去信任、高可用性存储

创作者平台--DeOSS 集去中心化存储网络与内容分发网络于一体，满足了创作者平台对于数据版权确立、溯源的需求

数据湖--DeOSS 适用于存储、处理和保护大量数据，可帮助企业削减费用、管理数据及使用 AI

生物数据--DeOSS 支持多类型数据确权和溯源、提供海量存储和高效检索，解决了生物数据所面临的数量巨大、增长迅速、来源广泛繁杂和难以标准化与结构化的问题