一、对象存储是什么
对象存储(Object-based Storage),也叫“面向对象的存储”。对象存储广泛用于云计算场景,云商将它作为云资源售卖,因此对象存储也直接称为“云存储”。
对象存储呈现出来的是一个“桶”(bucket),用户可以往“桶”里面放对象(Object),对象包括三个部分:Key、Data、Metadata。
对象存储的架构则由三部分组成:OSD对象存储设备、MDS元数据服务器、Client客户端。
二、对象存储的发展历程
1996年,美国卡内基梅隆大学将对象存储作为一个研究项目提出来;随后加州大学伯克利分校推出类似的项目。
2002年,Filepool公司推出了基于内容可寻址技术的Centera系统,它是比较早期的对象存储系统。
2006年,Amazon公司发布AWS S3(Simple Storage Service)服务,正式将对象存储作为一项云存储服务,引入云计算领域,开启对象存储的时代。
现在,随着信息技术的发展,人们日常生活产生的数据量呈爆炸式增长。根据IDC预测,到2025年将产生高达163ZB的数据量。并且,到2020年,每天产生的数据中,超过80%是照片、视频、音频这样的非结构化数据。由于技术和架构限制,块存储和文件存储在面对海量非结构化数据时无法有效应对,而对象存储凭借易扩展、扁平化的优势逐渐成为目前应用最普遍的存储技术。
根据Gartner发布的2022年存储&数据保护技术成熟度曲线图,目前对象存储处于幻灭低谷期和生产力高峰期之间的复苏期,这意味着对象存储逐渐被证明和接受,越来越多样化的企业机构开始对象存储的研发和实验。
为了应对海量非结构化数据的存储趋势,国内各个厂商都有提供对象存储服务:阿里云OSS、腾讯云COS、华为云OBS等。IDC数据显示:2021年中国对象存储市场达到5.28亿美元(35.68亿人民币),同比增长62.3%,其中XSKY名列第一。
三、 对象存储和块存储、文件存储的区别
块存储读写速度最快,但查询速度最慢,数据管理难度最高。块存储设备适合大批量冷数据快速写入及管理。
常见于:数据中心块设备集群、磁带机存储阵列、硬盘内部工作....
文件存储读写速度最慢,查询速度适中,但可以直接使用,容易管理,安全性较差,价格便宜。文件存储就是我们常看到的文件树状结构,方便用户直接访问。优点是直观,缺点是计算机查询文件效率低,安全性差。是面向用户的计算机系统里最常见的文件存储方式。
常见于:计算机、手机、移动硬盘、U盘、NAS、NFS存储系统、FTP....
对象存储读写速度和块存储相当,查询速度最快,扩容简单,程序容易管理,安全性较高。
对象存储可以理解为把文件分解成一个个对象进行存储,简单说就是存储文件会附加一段元数据,查询时寻找元数据然后定位到文件即可。对象存储结合了文件存储和块存储的优点,是存储的发展方向。是面向程序和系统的最优文件存储方式。
常见于:各大公有云存储系统及网盘,对存储量要求较高的大型存储系统,对高可用要求较高的存储系统,分布式存储系统一般都使用对象存储。
四、对象存储的优势
1容量大易扩展
对象存储的容量是EB级以上,所有业务、存储节点采用分布式集群方式工作,各功能节点、集群都可以独立扩容。从理论上来说,某个对象存储系统或单个桶(bucket),并没有总数据容量和对象数量的限制。
2数据安全可靠
对象存储采用分布式架构,对数据进行多设备冗余存储(至少三个以上节点),实现异地容灾和资源隔离。
3使用方便
一个很常见的比方:使用对象存储就像享受“代客泊车”服务,用户只需要把车(对象)扔给他(“桶”),他给你一个凭证(Key),你通过凭证取车就可以了。
五、对象存储的应用场景
对象存储应用场景广泛,根据估算,目前全球互联网70%以上的热点数据是保存在对象存储系统中的。
1图片和音视频等应用的海量存储
对象存储可用于图片、音视频、日志等海量文件的存储。各种终端设备、Web网站程序、移动应用可以直接向对象存储写入或读取数据。
2网页或者移动应用的静态和动态资源分离
利用海量互联网带宽,对象存储可以实现海量数据的互联网并发下载。
3云端数据处理
上传文件到对象存储后,可以配合媒体处理服务和图片处理服务进行云端的数据处理。
4数据迁移
数据快速、安全地迁移至对象存储,帮助客户降低存储成本,提高运维效率。
5容灾备份
对象存储不仅支持同城容灾,还支持跨区域异地容灾,防止用户数据丢失,业务长时间中断。
厂商通常会根据业务场景把对象存储服务分为三个存储类型:
1标准类型:单文件每月访问大于1次,适用于手机图片、重要文件、商业数据、敏感信息等场景。
2低频访问类型:单文件月访问不到1次,适用于网盘数据、大数据分析、政企业务数据、低频档案、监控数据等场景。
3归档类型:单文件90天访问不到1次,适用于档案数据、医疗影像、科学资料、影视素材等场景。
六、国内常见的对象存储产品
1阿里云 对象存储OSS
阿里云对象存储OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务,提供99.9999999999%(12个9)的数据持久性,99.995%的数据可用性。多种存储类型供选择,全面优化存储成本。
产品文档:
2腾讯云 对象存储COS
对象存储COS(Cloud Object Storage)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
产品文档:
https://cloud.tencent.com/document/product/436
3华为云 对象存储服务OBS
对象存储服务OBS(Object Storage Service)是一个基于对象的存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,使用时无需考虑容量限制,并且提供多种存储类型供选择,满足客户各类业务场景诉求。
产品文档:
https://support.huaweicloud.com/obs/index.htmlsupport.huaweicloud.com/obs/index.html
4星辰天合XEOS对象存储
星辰天合提供海量、高效、安全、智能的对象存储服务XEOS,突破存储规模和地域限制的海量非结构化数据存储平台。
产品文档:
七、总结
随着云计算、大数据、社交网络高速发展,非结构化数据呈爆炸式的增长。对象存储以无限扩容、扁平化结构的特点,成为目前最常用的存储技术,为企业数字化提供更灵活便捷的底层IT基础设施。