对象存储（云存储）基本知识概述

最新推荐文章于 2024-04-21 18:25:44 发布

小师弟0104

最新推荐文章于 2024-04-21 18:25:44 发布

阅读量5.6k

点赞数 5

文章标签：服务器运维

原文链接：https://blog.csdn.net/nihaoa50/article/details/88327178

版权

1、NAS（Network Attached Storage）

2、SAN(Storage Area Network and SAN Protocols)

三种存储形态

三种存储形态和存储架构示意图

1、块存储

块存储我们简单的理解就是一块一块的硬盘，直接挂载在主机上，在主机上我们能够看到的就是一块块的硬盘以及硬盘分区。从存储架构的角度而言，块存储又分为DAS存储（Direct-Attached Storage，直连式存储）和SAN存储（Storage Area Network，存储区域网络）。

2、文件存储

文件存储，我们指的是在文件系统上的存储，也就是主机操作系统中的文件系统。我们知道，文件系统中有分区，有文件夹，子文件夹，形成一个自上而下的文件结构；文件系统下的文件，用户可以通过操作系统中的应用程序进行打开、修改等操作，如打开word、编辑word。从架构上来说，文件存储提供一种NAS（Network Attached Storage，网络附属存储）架构，使得主机的文件系统不仅限于本地的文件系统，还可以连接基于局域网的共享文件系统。

3、对象存储

对象存储是面向对象/文件的、海量的互联网存储，它也可以直接被称为“云存储”。对象尽管是文件，它是已被封装的文件（编程中的对象就有封装性的特点），也就是说，在对象存储系统里，你不能直接打开/修改文件，但可以像ftp一样上传文件，下载文件等。另外对象存储没有像文件系统那样有一个很多层级的文件结构，而是只有一个“桶”（bucket）的概念（也就是存储空间），“桶”里面全部都是对象，是一种非常扁平化的存储方式。其最大的特点就是它的对象名称就是一个域名地址，一旦对象被设置为“公开”，所有网民都可以访问到它；它的拥有者还可以通过REST API的方式访问其中的对象。因此，对象存储最主流的使用场景，就是存储网站、移动app等互联网/移动互联网应用的静态内容（视频、图片、文件、软件安装包等等）。

对象存储

对象存储需求

随着互联网，Web应用创建出数百亿的小文件;人们上传海量的照片、视频、音乐，Facebook每天都新增数十亿条内容，人们每天发送数千亿封电子邮件。据IDC统计未来在10年间数据将增长44倍，到2020年全球数据将增加到35ZB，其中80%是非结构化数据，且大部分是非活跃数据。

面对如此庞大的数据量，仅具备PB级扩展能力的块存储(SAN)和文件存储(NAS)显得有些无能为力：通常块存储(SAN)的一个LUN容量仅数TB。单个文件系统最优性能情况下支持的文件数量通常只在百万级别。人们需要一种全新的架构的存储系统，这种存储系统需要具备极高的可扩展性，能够满足人们对存储容量TB到EB规模的扩展的需求。

2006年Amazon发布AWS, S3 服务及其使用的REST、SOAP访问接口成为对象存储的事实标准。Amazon S3成功为对象存储注入云服务基因。

对象存储含义

存储局域网(SAN)和网络附加存储(NAS)是目前两种主流网络存储架构，而对象存储（Object-based Storage）是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。总体上来讲，对象存储（Object-Based Storage, OBS)综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的分布式数据共享等优势，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。
对象存储核心是将数据通路（数据读或写）和控制通路（元数据）分离，并且基于对象存储设备（OSD）构建存储系统，每个对象存储设备具有一定的智能，能够自动管理其上的数据分布。

对象存储是一种基于对象的存储设备，具备智能、自我管理能力，通过web服务协议(如：REST、SOAP)实现对象的读写和存储资源的访问。

对象存储系统包含两种数据描述：容器(Bucket)、对象(Object)。容器和对象都有一个全局唯一的ID。对象存储采用扁平化结构管理所有数据，用户/应用通过接入码(AccessKey)认证后，只需要根据ID就可以访问容器/对象及相关的数据(Data)、元数据(metadata)和对象属性(Attribute)。

对象存储与传统网络存储的区别

对象存储在很多重要方面与SAN和NAS迥然不同，对存储管理员而言最显著的区别在于对象存储没有LUNs，卷以及RAID等要素。对象数据不是存储在固定的块，而是在大小可变的“容器”里。鉴于元数据（metadata）和数据本身可通过传统数据访问方法进行访问，对象存储允许数据被直接访问。此外，支持对象级和命令级的安全策略设置。

扩展知识：NAS与SAN概述

1、NAS（Network Attached Storage）

NAS（Network Attached Storage：网络附属存储）按字面简单说就是连接在网络上，具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器。它以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储，而效率却远远高于后者。
它采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，可扩展性好、价格便宜、用户易管理，如目前在集群计算中应用较多的NFS文件系统，但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。

优点
NAS产品是真正即插即用的产品。NAS设备一般支持多计算机平台，用户通过网络支持协议可进入相同的文档，因而NAS设备无需改造即可用于混合Unix/Windows NT局域网内。　　
NAS设备的物理位置同样是灵活的。它们可放置在工作组内，靠近数据中心的应用服务器，或者也可放在其他地点，通过物理链路与网络连接起来。无需应用服务器的干预，NAS设备允许用户在网络上存取数据，这样既可减小CPU的开销，也能显著改善网络的性能。

局限
NAS没有解决与文件服务器相关的一个关键性问题，即备份过程中的带宽消耗。与将备份数据流从LAN中转移出去的存储区域网（SAN）不同，NAS仍使用网络进行备份和恢复。NAS 的一个缺点是它将存储事务由并行SCSI连接转移到了网络上。这就是说LAN除了必须处理正常的最终用户传输流外，还必须处理包括备份操作的存储磁盘请求。
由于存储数据通过普通数据网络传输，因此易受网络上其它流量的影响。当网络上有其它大数据流量时会严重影响系统性能；由于存储数据通过普通数据网络传输，因此容易产生数据泄漏等安全问题；
存储只能以文件方式访问，而不能像普通文件系统一样直接访问物理数据块，因此会在某些情况下严重影响系统效率，比如大型数据库就不能使用NAS。

2、SAN(Storage Area Network and SAN Protocols)

存储区域网络(Storage Area Network and SAN Protocols，简写SAN，即存储区域网络及其协议)是一种高速网络或子网络，提供在计算机与存储系统之间的数据传输。存储设备是指一台或多台用以存储计算机数据的磁盘设备，通常指磁盘阵列。存储区域网络能够使用多种技术，这就使得系统间的数据备份、操作、文件转移和数据复制很容易实现重定向。

优点
SAN提供了一种与现有LAN连接的简易方法，并且通过同一物理通道支持广泛使用的SCSI和IP协议。SAN不受现今主流的、基于SCSI存储结构的布局限制。特别重要的是，随着存储容量的爆炸性增长，SAN允许企业独立地增加它们的存储容量。 SAN的结构允许任何服务器连接到任何存储阵列，这样不管数据置放在那里，服务器都可直接存取所需的数据。因为采用了光纤接口，SAN还具有更高的带宽。因为SAN解决方案是从基本功能剥离出存储功能，所以运行备份操作就无需考虑它们对网络总体性能的影响。SAN方案也使得管理及集中控制实现简化，特别是对于全部存储设备都集群在一起的时候。最后一点，光纤接口提供了10公里的连接长度，这使得实现物理上分离的、不在机房的存储变得非常容易。

局限
成本和复杂性，特别是在光纤信道中这些缺陷尤其明显。使用光纤信道的情况下，合理的成本大约是1千兆或者两千兆大概需要五万到六万美金。从另一个角度来看，虽然新推出的基于iSCSI的SAN解决方案大约只需要两万到三万美金，但是其性能却无法和光纤信道相比较。在价格上的差别主要是由于iSCSI技术使用的是现在已经大量生产的吉比特以太网硬件，而光纤通道技术要求特定的价格昂贵的设备。

对象存储的特性

对象存储是一种基于对象的存储设备，具备智能、自我管理能力，通过web服务协议(如：REST、SOAP)实现对象的读写和存储资源的访问。

对象存储数据组织示意图

在这里插入图片描述
对象存储对外提供更抽象的对象接口，而不是SCSI或文件接口。与SAN存储以逻辑扇区为单位的较细粒度的固定IO(512B~4KB)不同，对象存储IO粒度更有弹性，支持几个字节(B)到数万亿字节(TB)范围内的任意对象大小，使得业务可根据需要灵活的分割数据。

对象存储以对象ID为基础，扁平化的管理所有对象和桶，根据对象ID便可直接访问数据，解决了NAS复杂的目录树结构在海量数据情况下的数据查找耗时长的问题，这使得对象存储具备极强的扩展性，能够轻松实现单一名字空间内支持百亿级文件的存储。

在重复数据删除，绿色节能等特性基础上，为了更好的满足海量数据存储和公众云服务需求，对象存储系统还包括如下一些关键特性：

1、优秀的扩展性
扁平化的数据结构允许对象存储容量从TB级扩展到EB级，管理数十个到百亿个存储对象，支持从数字节(Byte)到数万亿字节(TB)范围内的任意大小对象，解决了文件系统复杂的iNode的机制带来的扩展性瓶颈，并使得对象存储无需像SAN存储那样管理数量庞大的逻辑单元号(LUN)。对象存储系统通常在一个横向扩展(或网格硬件)架构上构建一个全局的命名空间，这使得对象存储非常适用在云计算环境中使用。某些对象存储系统还可支持升级、扩容过程中业务零中断。

2、基于策略的自动化管理
由于云环境中的数据往往是动态、快速增长的，所以基于策略的自动化将变得非常重要。对象存储支持从应用角度基于业务需求设置对象/容器的属性(元数据)策略，如数据保护级别，保留期限，合规状况，远程复制的份数等。这使得对象存储具备云的自服务特征同时，有效的降低运维管理的成本，使得客户在存储容量从TB增长到ZB时，运维管理成本不会随之飙升。

3、多租户技术
多租户特性可以使用同一种架构,同一套系统为不同用户和应用提供存储服务,并分别为这些用户和应用设置数据保护、数据存储策略，并确保这些数据之间相互隔离。

扩展知识：多租户技术介绍
多租户架构浅析

多租户技术（英语：multi-tenancy technology）或称多重租赁技术，是一种软件架构技术，它是在探讨与实现如何于多用户的环境下共用相同的系统或程序组件，并且仍可确保各用户间数据的隔离性。

云计算可以划分为以下几个层次的服务——IaaS、PaaS和SaaS，而今天我们今天讲的多租户架构就是一种常见的 SaaS 软件架构模式。多租户技术是实现如何在多用户环境下（此处的多用户一般是面向企业用户）共用相同的系统或程序组件，并且可确保各用户间数据的隔离性。简单讲：在一台服务器上运行单个应用实例，它为多个租户（客户）提供服务。从定义中我们可以理解：多租户是一种架构，目的是为了让多用户环境下使用同一套程序，且保证用户间数据隔离。那么重点就很浅显易懂了，多租户的重点就是同一套程序下实现多用户数据的隔离。

对象存储结构

Alt
对象存储结构
对象存储结构由对象、对象存储设备、元数据服务器、对象存储系统的客户端四部分组成。

1、对象（Object）
对象(Object)是系统中数据存储的基本单位，一个对象实际上就是文件的数据和一组属性信息（Meta Data）的组合，每个对象是数据和数据属性集的综合体，数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储系统中用文件或块作为基本的存储单位，块设备要记录每个存储数据块在设备上的位置。对象维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。对象的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。在存储设备中，所有对象都有一个对象标识，通过对象标识OSD命令访问该对象。通常有多种类型的对象，存储设备上的根对象标识存储设备和该设备的各种属性，组对象是存储设备上共享资源管理策略的对象集合等。

传统块存储和对象存储示意图

在这里插入图片描述
对象存储中对象（Object）的组成
2、对象存储设备
每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的Object，是对象存储系统的核心。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。OSD的主要功能包括数据存储和安全访问。目前国际上通常采用刀片式结构实现对象存储设备。OSD提供三个主要功能：

数据存储。OSD管理对象数据，并将它们放置在标准的磁盘系统上，OSD不提供块接口访问方式，Client请求数据时用对象ID、偏移进行数据读写。
智能分布。OSD用其自身的CPU和内存优化数据分布，并支持数据的预取。由于OSD可以智能地支持对象的预取，从而可以优化磁盘的性能。
每个对象元数据的管理。OSD管理存储在其上对象的元数据，该元数据与传统的inode元数据相似，通常包括对象的数据块和对象的长度。而在传统的NAS系统中，这些元数据是由文件服务器维护的，对象存储架构将系统中主要的元数据管理工作由OSD来完成，降低了Client的开销。

传统模型与OSD模型示意在这里插入图片描述
3、元数据服务器（Metadata Server，MDS）
MDS控制Client与OSD对象的交互，为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。主要提供以下几个功能：

对象存储访问。MDS构造、管理描述每个文件分布的视图，允许Client直接访问对象。MDS为Client提供访问该文件所含对象的能力，OSD在接收到每个请求时将先验证该能力，然后才可以访问。
文件和目录访问管理。MDS在存储系统上构建一个文件结构，包括限额控制、目录和文件的创建和删除、访问控制等。
Client Cache一致性。为了提高Client性能，在对象存储系统设计时通常支持Client方的Cache。由于引入Client方的Cache，带来了Cache一致性问题，MDS支持基于Client的文件Cache，当Cache的文件发生改变时，将通知Client刷新Cache，从而防止Cache不一致引发的问题。
4、对象存储系统的客户端（Client）
为了有效支持Client支持访问OSD上的对象，需要在计算节点实现对象存储系统的Client。现有的应用对数据的访问大部分都是通过POSIX文件方式进行的，对象存储系统提供给用户的也是标准的POSIX文件访问接口。接口具有和通用文件系统相同的访问方式，同时为了提高性能，也具有对数据的Cache功能和文件的条带功能。同时，文件系统必须维护不同客户端上Cache的一致性，保证文件系统的数据一致。文件系统读访问流程：

1)客户端应用发出读请求;
2)文件系统向元数据服务器发送请求，获取要读取的数据所在的OSD;
3)然后直接向每个OSD发送数据读取请求；
4)OSD得到请求以后，判断要读取的Object，并根据此Object要求的认证方式，对客户端进行认证，如果此客户端得到授权，则将Object的数据返回给客户端；
5)文件系统收到OSD返回的数据以后，读操作完成。

对象存储应用场景

通常，无论是虚拟主机还是独立云主机，作为个人网站都会把所有的图片都存储在空间里，这样有一下几个问题：

随着网站的运行，图片越来越多，会导致主机的空间使用越来越多；
图片的增多会导致网站页面打开速度越来越慢，因为越来越多的图片需要从服务器上下载到本地浏览器的缓存目录，这样需要越来越多的宽带，而虚拟主机或云主机通常的宽带都是限定的；
网站迁移的成本越来越大。
如果使用了云存储，这样可以把图片存储在第三方，所有的图片都不会再消耗虚拟主机的宽带资源和磁盘资源，保证网站访问速度不受影响，迁移网站只需要迁移数据库和基本程序文件即可，基本上几十M就可以打包所有的文件，所以云存储的好处显而易见。

应用场景一：
如果您的网站有大量的图片,如果都存储在本地，需要大量的磁盘空间，虽然现在磁盘空间的价格已经很低，但是用户访问却需要大量的宽带，超过10G的图片，主机宽带10M是不够的，而10M的云主机每年的价格8000左右，随着年限的增长，云主机需要的硬件和宽带需求会越来越多，那么网站基本成本支出也会越来越搞，如果把所有的图片都存储在云存储里，每年主机成本可以降低2/3，甚至更多。

应用场景二：
视频存储的问题，可以选择把视频存储在专门的视频网站，比如优酷，腾讯视频，爱奇艺等，但是这样的问题是，所有的视频都会被视频网站加上播放前的贴片广告，这样其实非常不友好，给客户看的视频，还要先看几十秒甚至2分钟广告，这有点尴尬了，但是如果放网站上，会出现磁盘和宽带不足的情况，如果上传到云存储上，设置好伪静态和防止BT软件下载，这样就非常好了。

应用场景三：
电商、互联网金融、在线教育等行业的Web和移动应用，架构里有数据库、应用服务器、负载均衡的应用，另外还需要存储比如商品图片，互联网金融行业的用户证件照，在线交易视频等文件等，需要存储，此前的做法是搭建文件服务器，文件服务器的扩展性、并发性都有问题，这时候就需要用到对象存储。

应用场景四：
企业网盘，其后端就是对象存储。企业遍布各地的各个部门文档都在用企业网盘，分享和管理文件，企业网盘可以非常容易地分享给特定的个人，群组或部门。企业网盘是单独的市场，与个人网盘有很大区别，企业对访问权限认证的管理更细致，数据管理要求更高。

还有很多的应用场景，此处不一一列举。

基础知识以及对象存储工具S3

对象存储具备高性能、高可靠、安全、低成本等特性，通过标准的S3/Swift接口提供非结构化数据（图片、音视频、文本等格式文件）的存储服务，可满足用户在任何地方通过互联网对数据进行管理和访问的需求。

对象存储适用的场景
边缘存储
比如说在线视频点播类行业，对象存储可以结合媒体处理、CDN等云产品，可快速搭建一个安全、高可用的在线点播平台。而且对象存储的应用场景还有很多，理论上所有的非结构化数据，都能使用对象存储存储数据，比如智能视频监控，企业可通过使用对象存储产品，降低存储成本。

内容加速分发
面对视频、游戏等热点资源分发的业务场景，您可以使用对象存储作为源站，搭配CDN进行加速分发，方便您通过CDN节点就近访问资源，提升用户体验。

备份和归档
对象存储可用于各种企业应用、数据库和非结构化数据的备份和归档。在需要使用时，可直接将存储的数据恢复到灾备主机或测试主机中，同时用户可以设置不同的访问权限和级别，保障数据访问安全。相较于传统自建方案，用户无需采购高昂硬件，无需担心扩容、安全等问题，从而节省更多的存储、维护、人力成本。

海量数据高并发
结合CDN加速、云服务器等产品，可实现对静态网站的托管，对大多数企业来说，可减轻管理上的负担，用户可获得更优的读取、分析性能，更强的稳定性和更好的扩展性。

总的来说，对象存储为广大企业和个人用户提供数据管理、异地容灾、数据访问加速和数据处理等功能，涵盖诸多场景，有它独特的优势。

对象存储相关基本概念

AccessKey（访问密钥）
AccessKey简称AK，指的是访问身份验证中用到的AccessKeyID和AccessKeySecret。对象存储通过使用AccessKeyID和AccessKeySecret对称加密的方法来验证某个请求的发送者身份。AccessKeyID用于标识用户，AccessKeySecret是用户用于加密签名字符串和OSS用来验证签名字符串的密钥，其中AccessKeySecret必须保密。

Bucket（存储空间）
Bucket是用户用来管理所存储Object的存储空间。每个用户可以拥有多个Bucket，其中Bucket的名称在OSS的范围内必须是全局唯一的，一旦创建后无法修改名称，Bucket的内部Object数目没有限制，但是通常来说不建议一个账户建立太多Bucket，通常超过一定数量会影响整体使用性能，可以在一个Bucket通过目录等方式隔离数据。
对于用户而言，Bucket是一个管理Object的单元，所有的Object都必须隶属于某个Bucket。
Bucket有一些属性用来控制Region、Object的访问控制、Object的生命周期等，这些属性是作用在该Bucket下所有的Object上的，因此用户可以灵活创建不同的Bucket来完成不同的管理功能。

Object（对象，文件）
Object是OSS存储数据的基本单元，称为OSS的对象，也被称为OSS的文件，每个Object都有唯一的Key来标识，用户获取对象也是通过这个唯一的Key来确定。通常上传时单个对象的大小总是会受到限制（单个上传通常文件需小于5G），对于很大的文件可以采用分块上传的方式来进行，下载通常也会有默认的策略进行分块下载。

Endpoint（访问域名）
Endpoint表示OSS对外服务的访问域名，OSS以HTTP REST API的形式对外提供服务，当访问不同的Region的时候，需要不同的域名，通过内网和外网访问同一个Region所需要的Endpoint也是不同的，使用时需要注意：当获取Bucket列表时通常可以使用任意的Endpoint，但是当你上传或下载对象时，必须使用对象所属Region的Endpoint，否则会出现错误。

Region（区域）
Region表示OSS的数据中心所在区域，物理位置。用户可以根据费用、请求来源等综合选择数据存储的Region。一般来说，距离用户更近的Region访问速度更快，Region是在创建Bucket的时候指定的，一旦指定后就不允许更改，该Bucket下所有的Object都存储在对应的数据中心，目前不支持Object级别的Region设置，通常一般Endpoint就可以表明Region，但是有的时候需要Endpoint和Region都需要设置。