Minio VS Ceph

已于 2022-03-01 14:04:31 修改
阅读量9.5k 收藏 33
点赞数 9
分类专栏： 云原生 kubernetes ceph 文章标签： 云计算 分布式存储 云原生 存储 ceph
于 2022-03-01 14:02:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Moolight_shadow/article/details/123204412
版权
ceph 同时被 3 个专栏收录
16 篇文章 1 订阅
订阅专栏
云原生
7 篇文章 0 订阅
订阅专栏
kubernetes
7 篇文章 0 订阅
订阅专栏

在这里插入图片描述

1. 概述

数据统计时间为2022年3月

Minio作为分布式存储新秀,从2016年发布第一个版本到现在短短6年时间，github start已达到31.9K, 远超2015年发布的另一款分布式存储 seaweedfs 13.9k、及2010年的Ceph 10.2k，一时风头无二；但贡献者Ceph 1172人，而Minio只有337，sweedfs只有146, 社区活跃度来讲离Ceph有不小的差距。国内生产真正大规模使用Minio的比较少见，跟当前License有不小的关系。

从三个维度来对比Ceph和Minio:

  • 软件整体
  • 对象存储功能
  • Ceph在生产中的致命问题

2. 对比

2.1. 软件整体对比1 2

ProjectCephMinio
语言C++Go
代码量(行)114769543818
LicenseLGPLAGPLv3
提供的APIlibrados (C, C++, Python, Ruby, PHP, C#, Perl), S3, Swift, FUSEAWS S3 API (Go, Java, Python, .NET, Javascript, Haskell…)
高可用YesYes
SharedYesYes
数据冗余方式副本/纠删码纠删码
纠删码算法算法Pluggable erasure codes(RS/LRC/SHEC)Reed-Solomon
纠删码作用单位PoolObject
初始版本发布时间20102014
部署内存需求1 per 1TB of storage无限制
部署方式k8s operator(rook)/裸机(ansible/cephadm/ceph-volume/binary)k8s operator/裸机(docker-compose/ansible/binary/)
平台支持Linux/Windows/MacOSLinux/Windows/MacOS
K8S存储支持CSI/COSI(NAS)DirectPV(DAS)4
数据一致性强强
文档支持强弱
社区支持邮件列表slack

2.1.1. 语言与代码量及技术栈

2.1.1.1. 编译时间
  • Ceph 4C8G 编译一次2h30min， 变异过程以及产物需要占用30-50G空间
  • Minio 预估下应该在分钟级别(实际没有编译，根据代码量和系统调用预估), 产物minio 106MB
2.1.1.2. 技术栈

  • Ceph使用C++开发，功能多、性能好、但代码复杂，功能繁多、涉及技术栈太多

    • C++ / C / Python / Shell
    • S3
    • KV数据库
    • 网络通信
    • 一致性算法 paxos
    • 数据分布算法
      • hash
      • crush
    • 数据冗余算法
      • 副本
      • 纠删码
    • 硬件
      • 服务器
      • 网络
      • Raid
      • 硬盘
      • 交换机
      • …
    • Linux IO栈
      • VFS
      • 文件系统
      • 块层
      • 驱动层
      • 设备层
    • …

  • Minio 使用Go开发，代码精简易读

    • Go / Shell
    • S3
    • 数据冗余算法
      • 纠删码
    • Linux文件系统
    • …

2.1.2. License 3

最初是Apache License 2.0，商业友好

2.1.2.1. LGPL

修改库代码之后必须开源且协议为LGPL，主要针对库类使用，调用不受限制

2.1.2.2. AGPLv3

只要调用到，调用项目项目协议需要使用AGPL，并且对使用该软件的用户提供源码，软件本身提供了商业授权。不能基于该软件做开发或者对软件本身进行修改而用于商用

2.1.3. 文档

Ceph各类架构文档、维护文档齐全，Minio文档缺失严重，例如纠删码块是怎么分布以及组装的、数据如何落盘的流程等等

2.1.4. 社区支持

Ceph主要使用邮件列表，Minio使用slack，slack实时性更强、效率更高，设置直接可以对其他人进行实时会话

2.2. 对象存储功能对比

项目CephMinio
容灾备份AA/APAA/AP
认证/访问控制支持插件(Active Directory/OpenLDAP/OpenID)/IAM支持插件(KEYCLOAK/facebook/Google/Okata/Active Directory/OpenLDAP)/IAM
TLS加密YesYes
客户端加密YesYes
服务端加密YesYes
对象锁定(WORM)5Yes(nautilus)6Yes
版本管理YesYes
生命周期管理YesYes
数据分层YesYes
管理接口Dashboard/API/CLIConsole/API/CLI
监控告警PrometheusPrometheus
事件通知YesYes
可扩展性YesYes
AWS兼容Yes(不完全兼容)Yes
S3 SelectYesYes
云网关模式无Google Azure/NAS/S3/HDFS
导出为文件系统nfsminfs7
数据存储(bluestore)/Linux文件系统(filestore)linux文件系统
元数据存储kv数据库/(rockdb/leveldb/other)linux文件系统

2.2.1. 数据存储

  • Ceph: 数据存储在filestore/bluestore 元数据存储在kv数据库(filestore元数据一部分存储在xfs拓展属性)
  • Minio: 数据存储在linux本地目录, 小文件数据和元数据都存在元数据文件里面xl.meta纠删码分布存储, 大文件数据与与元数据分开存储， 没有集中的元数据服务器，理论上集群规模不受中心化有状态组件的影响，可以无限横向扩容，带来的问题是每次io都要从磁盘上拉取到元数据计算组装，然后再操作，好处是对象存储没有修改操作，计算压力就少了很多

2.3. 致命问题

项目CephMinio
单盘极端情况下影响整集群YesYes
元数据过大导致数据IO卡住YesNo(元数据在本地磁盘一个块一个元数据)
扩缩容性能损耗HighNo(Server Pool)、单Set会有重平衡的问题
单集群规模受限单盘性能(水桶效应)**横向无限扩容(server pool) 8
集群联邦NoNo^9

2.3.1. 单盘极端情况下影响整个集群

当分布式存储系统中一块磁盘时延忽高忽低时，无法触发集群故障处理机制，导致落到这快盘的io在时延高的情况下卡住，这类问题在架构复杂的系统不好定位，造成影响也比较大，Ceph和Minio都存在这样的问题。

2.3.2. 元数据过大导致静默校验卡IO

  • Ceph的元数据存储在KV数据库，对象存储对象寻址是通过bucket index，如果一个bucket里面文件过多，这个index会非常大，例如有5000w个对象时，没有分片情况下这个index的大小会达到40G，静默校验过不去导致整个集群的IO卡住，且处理需要花费小时级的事件

  • Minio元数据以Linux文件的方式存储，每个数据块一个元数据文件，一般情况元数据不会太大，当启用多版本的时候，极端情况，元数据每个版本追加一条，追加到几十万几百万的量级也是会影响到正常IO的，这种情况在正常的使用中不会见到

2.3.3. 数据平衡过程中性能损耗

  • Ceph官方没有支持多集群，当新加入/删除一个磁盘时，会造成整个pool的数据平衡，平衡期间占用磁盘IO非常大，大规模场景经常因为添加/删除OSD造成满请求，导致业务卡住
  • Minio使用Server Pool(类似Ceph的不同Pool使用不同服务器思路)，尽量避免数据均衡，不同Server pool不涉及数据平衡，同一个Pool中的磁盘如果有新增/损坏，就需要纠删码重新计算，数据重新分布，耗费的计算资源非常高，所以不建议在Server pool里面新增/删除磁盘

2.3.4. 单集群规模受限

  • Ceph 单集群规模受限于单盘的性能，当某一块盘性能差的时候，整个集群的性能会被拖下来，和但集群极端情况下影响整个集群的问题差不多
  • Ceph中每个IO请求几乎都要和mon交互，而mon是有状态的，多台mon同时只有一台在进行写操作，当规模特别大或者集群异常的时候，mon处理不过来会导致集群瘫痪
  • Minio没有中心化的管控节点，横向扩容只需考虑请求转发和数据平衡，Http请求天然支持负载分发，所以这块不构成问题, 数据平衡上，见数据平衡过程中性能损耗

2.3.5. 集群联邦

  • Ceph 不支持
  • Minio 弃用，现在都使用 Server Pool

2.3.6. 数据分布算法

3. 总结

3.1. Minio

3.1.1. 优势

  • 短小精悍: 麻雀虽小，五脏俱全，商业化做的非常出色
  • 简单方便: 使用Go开发，主要操作对象是文件系统的文件，二次开发门槛低，维护成本低
  • 顺势而生: 云原生场景存储的需求方是各Sass应用，主要需求有如下集中
    • 简单 http协议搞定所有交互，部署方便，启动一个二进制即部署完成
    • 轻量 硬件要求低、虚拟机也能部署，主要是为了满足对性能要求不高，但需要有稳定共享存储功能的
    • 便携 不只在数据中心可以部署，在边缘端也可以部署, 也有类似CDN的便端方案9
    • 功能单一但适用度广 S3可以满足AI、区块链、大数据等热门技术的存储需求
  • UI友好: 大部分功能在console即可完成，无需太多的后台操作
  • 按需订阅: 提供了免费的社区版与收费的订阅服务，解决了重要数据兜底的问题
  • 网关模式: 支持多种存储上面跑minio, Azure Blob/NAS/S3/HDFS，将不同的共享文件形式转化为minio提供使用，省去自行实现适配器的工作

3.1.2. 劣势

  • 文档支持比较差: 架构文档比较少
  • 不支持副本模式: 对于数据安全性要求高的需求没法满足
  • 性能差: 数据落在本地文件系统, IO链路比较长
  • License限制严格: 无法进行商业化的二次开发或者基于Minio做开发

3.2. Ceph

3.2.1. 优势

  • 兼容并包，大而全: 统一存储，集块设备、对象存储、文件系统于一体
  • 生态强大: OpenStack、K8S集成
  • 性能强: IOPS高
  • License比较宽松: 调用Ceph不受限制
  • 冗余策略丰富: 支持副本和纠删码插件(当前支持三种)
  • 文档齐全
  • 社区支持好
  • 监控稍完善 – 硬件健康检查(功能极不完善)、prometheus+grafana集成…

3.2.2. 劣势

  • 重: 部署需要的硬件资源较多，例如故障场景下，单OSD内存占用会达到8-10G
  • 维护难度大: 设计技术栈较多，大量使用的话需要一个专业的存储团队才能支撑
  • 使用难度大: 没有针对资源使用者的友好UI，用户只能通过查阅文档/代码使用
  • 理想架构与实际环境的矛盾:
    • 对于集群规模与单盘性能的矛盾，暂时没有比较好的解决方案
    • 大规模使用依赖于大量系统参数和ceph参数的调优
    • 块存储如果给虚拟机的操作系统使用，会因为单块盘故障引起大量虚拟机不可预估的宕机，非重启不能解决，即使恢复之后服务器仍可能有"暗病"
  • 目前没有比较好的解决方案来支撑云原生场景(轻量、简单)
3.2.2.1. 商业化

同样的一个功能

  • Minio

在这里插入图片描述

  • Ceph

在这里插入图片描述

存储系统主要需要关注的是拓展性、易维护性，指标可观测、事件可自动告警
对一个系统的了解必须是在大规模、高负载、有过整机房掉电损坏数据之后才能提出深入的、准确的评估，对minio使用较少，可能一些对比与实际表现存在偏差

只使用对象存储功能，且不做调用开发和二次开发，Minio好用不折腾。
如果有Iaas平台、块存储、文件系统需求，需要做商业化的存储产品、团队处于初期，则Ceph无可比拟。

4. 参考

  1. https://en.wikipedia.org/wiki/Comparison_of_distributed_file_systems ↩︎ ↩︎

  2. https://github.com/orgs/minio/repositories?page=1&type=all ↩︎ ↩︎

  3. https://choosealicense.com/ ↩︎ ↩︎

  4. https://github.com/minio/directpv?utm_campaign=COSI&utm_source=minio&utm_medium=blog&utm_content=cosi-091621 ↩︎

  5. https://docs.amazonaws.cn/AmazonS3/latest/userguide/object-lock-overview.html#object-lock-bucket-config ↩︎

  6. https://tracker.ceph.com/issues/37763 ↩︎

  7. https://github.com/minio/minfs ↩︎

  8. https://docs.min.io/minio/baremetal/installation/expand-minio-distributed.html#install-the-minio-binary-on-each-node-in-the-new-server-pool ↩︎

  9. https://blog.min.io/the-architects-guide-to-edge-storage/ ↩︎

gfengwong
关注
  • 9
    点赞
  • 踩
  • 33
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
208、Django融合MinIO与Ceph：打造高扩展存储解决方案
silenceallat的博客
06-04 1031
本文介绍了如何将Django与MinIO和Ceph等分布式存储系统进行集成。通过集成这些存储系统，Django开发者可以构建出高性能、可扩展的Web应用，满足不断增长的数据存储需求。文章首先解释了分布式存储的基本概念和优势，然后详细介绍了如何将Django与MinIO和Ceph进行集成，并提供了一些实践案例，帮助读者更好地理解和应用这些技术。
【ceph】什么是Ceph？------（MinIO和ceph的区别|GFS（GlusterFS）、MFS、Ceph、Lustre|文档）...
小鱼菜鸟的博客
07-22 1045
目录 什么是Ceph？ 简介 什么是块存储、文件存储和对象存储以及区别？ Ceph存储架构 Ceph数据的存储 Ceph开发如何入门 部署实例 MinIO和ceph ceph和GFS(GlusterFS)、MFS、Ceph、Lustre ceph和hadoop ceph 文档 什么是Ceph？ 简介 Ceph则是一个统一分...
HDFS、ceph和minIO存储方案调研
pingyufeng的博客
01-07 4386
ceph和minIO存储方案如何选择？ minio接口文档 ceph和hdfs 分布式文件系统的对比 HDFS VS Ceph 三驾马车已去，再论Hadoop已是凉凉 S3FS 挂载MINIO为本地文件系统 TODO: 总结
文件存储方案对比
热门推荐
dingjs520的专栏
11-28 1万+
文件存储方案对比需求第三代审判系统会以材料为中心，通过采集案件的各种电子材料，进行管理、分析。 电子卷宗、文书、档案、音视频材料，当针对材料的深度应用的推广，一个案件将会有上百M甚至上G的电子材料信息。需要针对这些电子材料信息的存储提供行统一的存储方案。 数据安全 需要实现数据冗余，避免数据的单点故障 可线性扩展 当数据增长到TB、甚至PB以上时，存储方案需要支持可线性扩展 存储高可用 某个...
ceph和minIO存储方案如何选择？
billyhhzh的博客
11-02 9735
首先讲一下：存储发展史 （Ceph分布式存储详述 - 知乎） 企业中使用存储按照其功能，使用场景，一直在持续发展和迭代，大体上可以分为四个阶段： DAS：Direct Attached Storage，即直连存储，第一代存储系统，通过SCSI总线扩展至一个外部的存储，磁带整列，作为服务器扩展的一部分； NAS：Network Attached Storage，即网络附加存储，通过网络协议如NFS远程获取后端文件服务器共享的存储空间，将文件存储单独分离出来； SAN：Storage Area Net
MinIO与Ceph调研
qq_36389344的博客
02-20 5370
MinIO与Ceph调研 MinIO 1. 基本介绍 使用Go语言开发 2. 特点 可以作为存储也可以作为云存储的网关使用，兼容AS3，部分版本支持滚动升级(仍然建议使用 mc admin update 命令升级) 3.基本数据结构 Bucket：桶，文件存储的逻辑空间，与AS3的bucket定义相同 Object：文件数据，part.1源文件，xi.json文件元数据(meta) 内部结构 Drive：数据盘 Set：数据盘集合，minIO自动将Drive按照数量进行划分 文件存储
对象存储ceph, GlusterFS, TFS, minio存储方案对比
justlpf的专栏
09-07 7065
（）存储的发展，根据不同的阶段诞生了不同的存储解决方案，每一种存储都有它当时的历史诞生的环境以及应用场景，解决的问题和优缺点。综上、企业中不同场景使用的存储，使用表现形式无非是这三种：磁盘（块存储设备），挂载至目录像本地文件一样使用（文件共享存储），通过API向存储系统中上传PUT和下载GET文件（对象存储）。
【ceph】什么是Ceph？------（MinIO和ceph的区别|GFS（GlusterFS）、MFS、Ceph、Lustre|文档）
bandaoyu的note
01-19 3925
什么是Ceph？ 简介 Ceph则是一个统一分布式存储系统，具有优异的性能、可靠性和可扩展性。Ceph底层是RADOS，它是分布式对象存储系统，由自修复、自管理、智能的存储节点组成。可以通过LIBRADOS直接访问到RADOS的对象存储系统。RBD(块设备接口)、RADOS Gateway(对象存储接口)、Ceph File System(POSIX接口)都是基于RADOS的。 Ceph能够提供企业中三种常见的存储需求：块存储、文件存储和对象存储，正如Ceph官方所定义的一样“Ceph unique
【Ceph】Minio Browser浏览ceph对象文件
runzhliu大数据/容器日记
02-13 978
MiniO Browser 可以对接支持 S3 协议的 Ceph RGW，因为用 s3cmd 这些工具去管理对象文件还是比较麻烦，而且不够直观的，Minio Browser 正好提供了一套 UI 来访问、上传对象文件，创建桶和分享文件这些功能，还是相当实用的，如果不想自己开发基于 Ceph RGW 的对象文件页面管理，那么可以直接用 MiniO Browser。 ...
罗马：S3，Minio，Ceph，Google Storage，Artifactory等的迦太基缓存
01-28
罗马 Rome是一种工具，可让Apple平台上的开发人员使用： 亚马逊的S3 其他与S3兼容的对象库 或/和本地文件夹 作为使用构建的框架的共享缓存。 受信任的人： 目录 前往罗马 使用自制软件 ...$ brew install tmspzz/...
2.1+基于MINIO的对象存储方案在探探的实践+-+于乐.pdf
02-03
对象存储,oss,linux,mimio,对象存储,oss,linux,mimio,对象存储,oss,linux,mimio,对象存储,oss,linux,mimio
分布式文件系统FastDFS+Nginx集成+FastDHF去重+SpringBoot文件长传与下载
01-09
概述 分布式⽂件系统（Distributed File System）是指⽂件系统管理的物理存储资源不⼀定直接连接在本地节点上，⽽是通过计算机⽹络与节点相连。 判断⼀个分布式⽂件系统是否优秀，取决于以下三个因素： ...
分布式图片搜索引擎设计与实现
09-12
分布式图片搜索引擎设计与实现，专门从万方数据库下载的
Alluxio分布式存储系统-其他
06-12
目前Alluxio支持Microsoft Azure Blob Store，Amazon S3，Google Cloud Storage，OpenStack Swift，GlusterFS， HDFS，MaprFS，Ceph，NFS，Alibaba OSS，Minio以及单节点本地文件系统，后续也会支持更多其他存储系统...
四大开源分布式存储_性能1.84倍于Ceph！网易数帆Curve分布式存储开源
weixin_39856630的博客
12-04 517
在上周刚结束的网易数字+大会上网易数帆宣布：开源一款名为Curve的高性能分布式存储系统，性能可达Ceph的1.84倍！网易副总裁、网易杭州研究院执行院长兼网易数帆总经理汪源：基础软件的能力对于数字化转型非常关键，当前存储领域需要一款性能更高、可用性/可靠性更好、自治能力更强的分布式存储系统，Curve的开源不仅代表网易数帆在基础软件市场的坚持，也为软件定义基础设施生态的繁荣再添一把火。采用先进架...
常用分布式文件系统(对象存储)对比-SeaweedFS、Minio
最新发布
gaozhenzhai的博客
09-19 3620
所有文件的元数据不存储在Master节点，而是分散存储在Volume（逻辑卷，存储数据的逻辑结构）中，Master节点只保存卷 ID到卷服务器的映射，这样一来，Master节点的查询压力就被分散到volume节点了。对跨公网的文件同步，存在较大延迟，需要应用做相应的容错策略。minio是一款有明显优缺点的产品,在我们的需求背景下,minio不能够很好的满足,特别是不能够支持我们10亿+对象存储需求,而且在现有的架构设计下,也不太好改造,然后通过与社区共建的方式来满足我们海量小文件的需求。
【存储】块存储、文件存储和对象存储的区别|什么是Ceph？|MinIO和ceph
小鱼菜鸟的博客
11-13 647
目录 存储分类： 什么是Ceph？ Ceph存储架构 Ceph数据的存储 MinIO和ceph 存储分类： https://www.bilibili.com/video/BV1WE41177Kp?from=search&seid=1887114199876544924 存储发展史 (https://zhuanlan.zhi...
分布式文件系统Ceph性能测试
caixiatwins的专栏
06-22 1215
这篇文章里介绍了ceph性能测试的方法及结果，共5个节点，测试工具使用的是dd及iozone!值得学习！ http://tech.uc.cn/?p=1223
minio集群搭建以及与其他分布式存储系统对比
liushuiziyouliu的专栏
06-24 6025
### Ceph优点 成熟 红帽继子，ceph创始人已经加入红帽 国内有所谓的ceph中国社区，私人机构，不活跃，文档有滞后，而且没有更新的迹象。 功能强大 支持数千节点 支持动态增加节点，自动平衡数据分布。 可配置性强，可针对不同场景进行调优 缺点 学习成本高，安装运维复杂。 ### Minio优点 学习成本低，安装运维简单，开箱即用 目前minio论坛推广给力，有问必答 有java客户端、js客户端 数据保护：分布式Minio采用 纠删码来防范多个节点宕机和位衰减bit r
minio docker
09-18
Minio是一个开源的对象存储服务器，可以通过Docker来部署。你可以按照以下步骤下载和运行Minio的Docker镜像： 1. 下载Minio镜像： ``` docker pull minio/minio ``` 2. 单行模式运行Minio容器： ``` docker run -p 9000:9000 -p 9090:9090 --net=host --name minio -d --restart=always -e "MINIO_ACCESS_KEY=minioadmin" -e "MINIO_SECRET_KEY=minioadmin" -v /home/minio/data:/data -v /home/minio/config:/root/.minio minio/minio server /data --console-address ":9090" -address ":9000" ``` 3. 多行模式运行Minio容器： ``` docker run -p 9000:9000 -p 9090:9090 \ --net=host \ --name minio \ -d --restart=always \ -e "MINIO_ACCESS_KEY=minioadmin" \ -e "MINIO_SECRET_KEY=minioadmin" \ -v /home/minio/data:/data \ -v /home/minio/config:/root/.minio \ minio/minio server \ /data --console-address ":9090" -address ":9000" ``` 请确认你已经安装了Docker，并且已经在本地创建了`/home/minio/data`和`/home/minio/config`目录。你也可以根据需要自定义访问密钥和存储路径。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值