对象存储的理解

个人理解

一、对象存储

1、对象存储定义

对象存储是一种以非结构化格式存储和管理数据的技术。是面向对象/文件的、海量的互联网存储，主要用于备份和归档关键数据， 对象存储系统不能直接打开/修改文件，但可以像ftp一样上传文件，下载文件等。并且对象存储没有像文件系统那样有一个很多层级的文件结构，而是只有一个“桶”（bucket）的概念（也就是存储空间），“桶”里面全部都是对象，是一种非常扁平化的存储方式。

2、对象存储特点

最大的特点就是它的对象名称就是一个域名地址，如果设置为“公开”，所有网民都可以访问到它；它的拥有者还可以通过REST API的方式访问其中的对象。对象存储是以对象为基本单位进行存储的，对象通常包含数据、元数据和唯一的标识符（ID）等信息，对象中的数据没有明确的边界，可以是结构化的、半结构化的或者是非结构化的数据。
特点：
无限扩展性：对象存储系统的可扩展性非常好，可以通过添加更多的存储节点来扩展存储容量，而不需要对整个系统进行修改，提供了更大的空间。
高可用性：对象存储系统采用分布式存储和备份技术，保证了数据的高可用性和可靠性。即使出现了某个存储节点故障，数据仍然可以通过备份节点来访问。
高并发性：对象存储系统可以支持高并发访问，通过数据分片和负载均衡技术，分散访问请求，提高了系统的并发能力。
灵活性：对象存储系统支持多种应用程序接口（API）和协议，包括RESTful API、Amazon S3协议等，使得用户可以根据自己的需求选择不同的接口和协议。
低成本：相比于传统的存储方式，对象存储的成本更低，因为它不需要维护复杂的目录和文件结构，同时也不需要购买昂贵的存储设备。
方便：代客泊车（原理）

3、对象存储使用场景

对象存储最主流的使用场景，就是存储网站、移动app等互联网/移动互联网应用的静态内容（视频、图片、文件、软件安装包等等）。就是存储非结构化数据。与传统文件存储中使用的寻址层次结构不同,对象存储使用平面文件系统,即没有目录树。因此,它提供了无限的规模对象存储 能够存储大量的非结构化数据,如音频、视频、电子邮件、医疗记录和文档。
如果要创建和分析大量非结构化数据，例如照片、视频、电子邮件、网页、传感器数据和音频文件。对象存储解决方案非常适合用于构建需要扩展和灵活性的云原生应用程序；您还可以使用这些解决方案导入现有数据存储以进行分析、备份或存档。
最常见的存储对象包括静态内容(图像、视频、音频、JS 和 CSS 文件)、系统存档和备份、企业、移动和 Web 应用程序数据(图像、软件更新)、电子文档管理。

二、对象存储的元数据

元数据对于对象存储技术至关重要。使用对象存储，对象保存在单个存储桶中，而不是作为文件夹内的文件保存。相反，对象存储整合了构成文件的数据片段，将所有用户创建的元数据添加到该文件，并附加自定义标识符。这将创建一个称为存储桶的平面结构，而不是分层或分级存储。这使您可以根据存储桶的功能和特征来检索和分析其中的任何对象，而无论文件类型如何。

三、对象存储工作原理

对象存储服务器将数据块存储为带有元数据的对象，并将这些对象分散存储在多个节点上，保证数据的可靠性和高可用性。当客户端请求数据时，对象存储服务器会根据元数据查找对应的存储节点，并负责对数据进行组装和传输，最终将数据流传递给客户端。

四、存储类型以及使用场景

三种类型：标准存储、低频访问存储、归档存储
标准存储适用于频繁访问和修改的数据，低频访问存储适用于较少访问但需要快速响应的数据，归档存储适用于不经常访问但需要长期保存的数据。

五、对象存储优势

对象存储的主要优势是近乎无限的可扩展性以及为数据湖、云原生应用程序、分析、日志文件和机器学习（ML）等使用场景存储大量数据的成本较低。对象存储还提供更高的数据持久性和弹性，因为它可以在多台设备上、跨多个系统，甚至跨多个数据中心和区域存储对象。这可以实现近乎无限的规模，同时提高数据的弹性和可用性。

六、数据组成和架构

1、数据组成

对象存储是数据湖的理想存储，因为它为大量数据提供了一种架构，每条数据都存储为一个对象，并且对象元数据提供了一个唯一标识符以便于访问。这种架构消除了传统存储的扩展限制，这也是为什么对象存储是云存储的原因。
对象存储呈现出来的是一个“桶”（bucket），你可以往“桶”里面放“这个对象包括三个部分：Key、Data、Metadata。

ps：Key：可以理解文件名，是该对象的全局唯一标识符（UID）。Key 是用于检索对象，服务器和用户不需要知道数据的物理地址，也能通过它找到对象。这种方法极大地简化了数据存储。
Data：也就是用户数据本体
Metadata 叫做元数据，可以是对象的各种描述信息。
举个例子，在传统的文件存储里，这类信息属于文件本身，和文件一起封装存储。而对象存储中，元数据是独立出来的，并不在数据内部封装。元数据的好处非常明显，可以大大加快对象的排序，还有分类和查找。

2、数据架构

OSD 对象存储设备这是对象存储的核心，具有自己的 CPU、内存、网络和磁盘系统。它的主要功能当然是存储数据。同时，它还会利用自己的算力，优化数据分布，并且支持数据预读取，提升磁盘性能。MDS 元数据服务器它控制 Client 和 OSD 的交互，还会管理着限额控制、目录和文件的创建与删除，以及访问控制权限。Client 客户端提供文件系统接口，方便外部访问。根据上面的架构可以看出，对象存储系统可以是一个提供海量存储服务的分布式架构。

七、分布式文件和对象存储

文件存储与对象存储区别主要可从三方面来进行比较

1、展现模式：

文件存储：以盘符 / 目录的形式展现，优点是符合用户现有使用习惯，用户可以像使用本地硬盘一样使用存储系统，缺点是无法定制化存储元数据信息，对业务系统无优化；
对象存储：与应用系统相结合形式展现，优点是可按需调用存储接口，并为文件设置元数据以及标签属性，可满足业务系统定制化需求，缺点是需要业务系统直接调用存储，用户无法直接调用系统内数据

2、访问协议

文件存储： NFS/CIFS 协议访问，优点是锁机制可支持多人同时对数据进行修改（锁机制由应用系统决定 , 缺点是为保证数据访问一致性，需要进行数据索引信息同步，对系统并发性能以及系统规模存在较大影响。
对象存储： HTTP 传输协议以及 RESTful 接口访问，优点是通过算法存放文件元数据信息，无元数据同步限制，系统可无限制扩展，且性能随着存储系统规模扩展而线性提升，缺点是采用 RESTful 接口 Put 、 Get 、 Delete ，不支持多人同时对同一文件修改。

3、数据结构

文件存储：采用树形目录结构，读取和存储数据要经过更长路径才能到达目标位置。随着数据越来越多，目录结构会越来越繁杂，查找以及调取文件的速度会越来越慢（操作系统对目录字节数存在限制）； 如若出现设备损坏或者扩容时，需要将巨型目录树中的数据重新分配均衡，效率较差
对象存储：采用扁平目录结构，抛弃了嵌套的文件夹，避免维护庞大的目录树，只保留二级（或三级）目录结构。根下直接就是桶 桶中直接存放对象，桶中不能再建桶（禁止多层文件夹）。 每个对象文件都只需要一个 ID 就能获取对象
适用场景总结：
文件存储：数百 TB-PB 级数据并行计算类应用；亿级别以内小文件存储类应用；需要在线修改数据类应用系统，
对象存储： PB- 数百 PB 级数据存储存储类应用；千亿级海量小文件数据存储以及海量并发访问类应用；大数据分析以及机器学习，需要定制化文件元数据信息以及标签信息类应用