MinIO与Ceph调研

MinIO与Ceph调研

MinIO

1. 基本介绍

使用Go语言开发

2. 特点

可以作为存储也可以作为云存储的网关使用，兼容AS3，部分版本支持滚动升级(仍然建议使用 mc admin update 命令升级)

3.基本数据结构

Bucket：桶，文件存储的逻辑空间，与AS3的bucket定义相同

Object：文件数据，part.1源文件，xi.json文件元数据(meta)

内部结构

Drive：数据盘

Set：数据盘集合，minIO自动将Drive按照数量进行划分

文件存储结构

DataDrives：数据盘，存储Object原始数据

ParityDrives：纠删盘，存储Object的纠错数据

空间占比1:1，即Object在MinIO中的实际空间占用是硬盘文件系统的2倍

Block：纠删码(erasure code)计算单元，>10MB则每个Block大小为10MB，<10MB则每个Block大小为Object本身的大小。文件上传流读取时串行读取到一个Block大小的Buffer中。

DataShards和ParityShards：文件上传流每读取完一个Block，就会计算出对应的纠删码，生成DataShards和ParityShards(每一个Shards都是一个Block，按照业务功能称为DataShards或ParityShards)，然后将DataShard存在DataDrive中，ParityShard存在ParityDrive中

4.数据完整性

纠删，

防Bitrot(数据衰减)技术，数据写入前计算hash，读取时再计算hash，通过比对hash来判定文件完整性

Ceph

1. 基本介绍

创始人已加入红帽

2. 特点

集块存储和文件存储为一身，支持大规模扩容，可管理超过10亿甚至更多的对象，Openshift的基础，内置安全和数据保护

3.基本数据结构

4.数据完整性

说老实话，我看完ceph架构，我都不想再看下去了，小项目造不起

MinIO与Ceph优缺点比较

	MinIO	Ceph
存储方式	对象存储	块/文件/对象存储
一致性	强一致性	强一致性
数据保护	纠删码(最多16块盘)	副本/纠删码
学习成本	低	高
运维成本	低	高
中心节点	无	有
扩容方式	zone 只是单纯的增加存储空间	集群节点 扩容后性能增加 扩容需要重新平均数据分布，扩容期间性能有影响