ceph 存储 对比_分布式存储系统 Curve

CURVE 是网易开源的高性能、高可用、高可靠分布式存储系统，具有非常良好的扩展性。基于该存储底座可以打造适用于不同应用场景的存储系统，如块存储、对象存储、云原生数据库等。

• 授权协议: Apache 2.0
• 开发语言: C/C++
• 开发厂商：网易
• 软件类型：分布式应用/网络

CURVE 的设计开发始终围绕三个理念：

一是顺应当前存储硬件设施发展趋势，做到软硬件结合打造顶级的存储产品；

二是秉持 “Simple Can be harder than complex”，了解问题本质情况下选择最简单的方案解决问题；

三是拥抱开源，在充分调研的前提下使用优秀的开源项目组件，避免造轮子。

当前网易基于 CURVE 已经实现了高性能块存储系统，支持快照克隆和恢复 ,支持 QEMU 虚拟机和物理机 NBD 设备两种挂载方式, 在网易内部作为高性能云盘使用。

特性

1. 高性能

高性能是 CURVE 的一大特点，也是项目团队创建 CURVE 项目的初衷。RPC 层面 CURVE 采用了高性能和低延迟并且已开源的 brpc；在一致性层面选择了基于 quorum 机制并且开源的 braft，从协议层面来说 quorum 机制在延迟方面天生优于多副本强一致的方式。

实现上 CURVE 对 braft 快照的实现进行了优化，在状态机的实现上采用 chunkfilepool 的方式 ( 初始化集群的时候格式化出指定比例的空间用作 chunk ) 使得底层的写入放大为 0；

此外CURVE 还在 chunk 上进行更细力度的地址空间 hash 以达到读写分离、减小 IO 碰撞等的效果，从而进一步提升 IO 性能。

网易公布了 Curve 和 Ceph L 版本的测试数据对比，在单卷的场景下，核心的 4K 随机读/写的IOPS 性能，Curve 分别是 Ceph 的 1.84 倍和 1.58 倍，同时延迟相比 Ceph 分别降低 48.39%和 37.50%。

Curve与Ceph性能测试对比

2. 高可用

高可用是 CURVE 的另一大特点。MDS、ChunkServer 以及 SnapShotCloneServer 都支持多实例部署，部分实例异常不影响整个集群的可用性。

• MDS

MDS 是无状态的，推荐至少部署两个实例。通过 Etcd 进行选主。多个 MDS 实例通过 Etcd 进行选主，当单个实例失效时，可以秒级切换到另外一个实例。失效实例上正在处理的请求，Client 和 SnapShotCloneServer 都会对其进行重试，以达到不影响集群可用性的效果。

• SnapShotCloneServer

SnapShotCloneServer 与 MDS 类似, 也是通过 Etcd 进行选主，不同的是，它通过负载均衡对外提供服务。失效期间的请求失败重试都是幂等的，不影响任务的正确性以及集群的可用性。

• ChunkServer

ChunkServer 是一个集群，通过 Raft 协议保持数据一致性，并通过 MDS 做负载均衡。单个节点失效时，会影响到这个节点上存储的所有 Copyset。

对于 Copyset 上的 Leader 节点，会中断服务，等待重新选举；对于Copyset 上的 follower 节点，服务不会受影响。当某个 Chunkserver 节点失效且在一段时间内无法恢复，MDS 会将其上的数据迁移到其他节点上。

更多信息：分布式存储系统 Curve