一、背景及选型
随着公司业务的不断增长,继续使用传统的NAS+DB的存储架构来支撑海量的非结构化数据存储(已经到PB级),运维变的越来越困难。导致存储数据的快速增长带来运维成本的几何级增长,系统的稳定性和成本越来越不能让人接受。基于此种现状,期望寻求一种全新的存储解决方案。
通过分析整理需求如下:分布式、海量非结构化数据存储(100PB+)、多租户模式(为了实现精细化授权)、自定义元数据、无单点架构、高性能、高吞吐、自动化运维(95%以上自动运维管理)。通过调研、选型、POC最终选定为OpenStack Swift。
理由:
1、Apache 2.0协议,非常友好的协议,不会因修改了代码而带来麻烦。开源二次开发首选。
2、其本身设计就是海量非结构化数据存储的解决方案,支持分布式、支持多租户模式、分布式元数据管理方式(无单点)、基于对象存储概念的一种实现。
3、OpenStack目前在云计算中还是比较红火,社区非常活跃,并且swift做为一个子项目不受其它要求的依赖