对象存储之一：初探

对象存储之一：初探

分布式存储的浪潮下，最大的焦点和宠儿就是对象存储，一起来看看。

why object storage？

笔者看过一些对象存储的介绍文章，对于对象存储的架构和实现都讲得不错，却忽略了这个问题；

先来看看wiki怎么回答的吧：Object_storage

Object storage systems allow retention of massive amounts of unstructured data. Object storage is used for purposes such as storing photos on Facebook, songs on Spotify, or files in online collaboration services, such as Dropbox.

对象存储系统允许存储海量的非结构化数据。用于这些场景：在Facebook上存储照片，在Spotify上存储音乐，在Dropbox上提供文件的在线可协同操作服务。

真实的挑战

笔者的工作经历中，作为storage vendor与客户合作过这样的典型方案：系统按照用户名、创建时间段、文件类型等作为多级目录，来存储并管理前端业务下发的文件、图片；

这是一种典型的以文件系统为核心来做存储管理的方案；其实在很多的SAN应用方案中，也是挂载到server后，再部署文件系统并使用存储；

现在想一想，如果这个系统中：

1. 前端业务有了新的使用场景：手机app等移动应用；
2. 前端业务有了新的数据类型：视频、直播、音乐等；
3. 原来部署时满足100TB的环境，在一个月内骤然暴涨到1PB；

改一改？

上述的业务挑战，如果我们在现有系统上，尝试来改一改：

1. 新搭建web server来代理移动场景的HTTP访问需求，并实现前端Rest或Soap类调用到文件系统的寻址转换；
2. 视频类非结构化数据的高带宽、大容量特性，导致整个文件系统namespace的再平衡：原有目录层级要迅速调整，多业务间（视频与文本）要做QoS，基于数据的管理等等；
3. 整体存储量的快速增长，需要系统具有良好的扩展性：传统的NAS、SAN方案将难以满足，scale-out迫在眉睫；

每一个问题的尝试修改方案，都需要在软件技术栈或硬件选型部署等综合方案上做出很大改变；

它来了

现在，再来看看why object storage？因为对象存储从一开始的设计，就是为了解决上述这些问题的；

1. 大多数object storage vendor提供：Restful API，以及多平台多语言的SDK；
2. object storage的这些特性：flat address，meta和data访问分离，rich meta；轻松处理各类非结构化数据需求；
3. 这里有两种方向：一类是文件系统解决了动态scale-out，例如HDFS、GlusterFS；另一类则是pure object storage，例如Ceph、Minio；

reference

Advantages of using an object storage
Why object storage is eating the world