对象存储服务(Object Storage Service,OSS)是一种海量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。容量和处理能力弹性扩展,多种存储类型供选择,全面优化存储成本。
对象存储服务#
在项目开发过程中,我们会产生大量的对象数据,包括:日志文件,数据库脚本文件、安装包,容器镜像,图像、视频等等,我们不仅仅是需要有一个集中的地方来存储,还需要能基于 Web 的方式来访问它们,以往我们有以下几种方法来解决:
- 阿里云、Azure 等云服务商提供的SaaS 级别的 OSS 服务
- 自己搭建 NAS 网络存储通过 Samba 服务来访问
- 自己搭建 FTP 服务器来存储
介绍下其中的Minio方案
Minio#
Minio是GlusterFS创始人之一Anand Babu Periasamy发布新的开源项目。Minio兼容Amason的S3分布式对象存储项目,采用Golang实现,客户端支持Java,Python,Javacript, Golang语言。
Minio是建立在云原生的基础上;有分布式和共享存储等功能;旨在多租户环境中以可持续的方式进行扩展的对象存储服务。它最适合存储非结构化数据,如:照片、视频、日志文件、容器/虚拟机/映像等,单次存储对象的大小最大可达5TB
参考#
- https://min.io/
- http://www.minio.org.cn/
- minio/minio-service: Collection of MinIO server scripts for upstart, systemd, sysvinit, launchd. (github.com)
Minio 架构#
左边是 MINIO 集群的示意图,整个集群是由多个角色完全相同的节点所组成的。因为没有特殊的节点,所以任何节点宕机都不会影响整个集群节点之间的通信。通过 rest 跟 RPC 去通信的,主要是实现分布式的锁跟文件的一些操作
右边这张图是单个节点的示意图,每个节点都单独对外提供兼容 S3 的服务
为什么要用 Minio#
- Minio 有良好的存储机制
- Minio 有很好纠删码的算法与擦除编码算法
- 拥有RS code 编码数据恢复原理
- 公司做强做大时,数据的拥有重要性,对数据治理与大数据分析做