1.1 ceph 特点
高性能
高可用性
高可扩展性
特性丰富
1.2 架构
对象(object): 原生API
块 (block): 支持精简配置、快照、克隆
文件 (File): Posix接口 , 支持快照
1.3 核心组件
Monitor : 一个Ceph集群需要多个Monitor组成的小集群,它们通过Paxos同步数据,用
来保存OSD的元数据。监控整个集群的状态,维护集群的cluster MAP 二进制表,保证
集权数据的一致性。
OSD : OSD全称Object Storage Device,也就是负责响应客户端请求返回具体数据的进
程。一个Ceph集群一般都有很多个OSD(最少得有两个(为了满足副本机制))。
MDS : MDS全称Ceph Metadata Server,是CephFS(文件系统存储)服务依赖的元数
据服务。
object : Ceph最底层的存储单元是Object对象,每个Object包含元数据和原始数据。
PG : PG全称Placement Groups,是一个逻辑的概念,一个PG包含多个OSD(取决于
副本数量)。引入PG这一层其实是为了更好的分配数据和定位数据。
RADOS : RADOS全称Reliable Autonomic Distributed Object Store,真正提供存储功能
的那一层,是Ceph集群的精华,用户实现数据分配、Failover(故障转移)等集群操
作。
Libradio : Librados是Rados提供库,因为RADOS是协议很难直接访问,因此上层的
RBD(块存储)、RGW(对象存储)和CephFS(文件系统存储)都是通过librados访
问的,目前提供PHP、Ruby、Java、Python、C和C++支持。
CRUSH : CRUSH是Ceph使用的数据分布算法,类似一致性哈希,让数据分配到预期的
地方。
RBD : RBD全称RADOS block device,是Ceph对外提供的块设备服务。块存储。
RGW : RGW全称RADOS gateway,是Ceph对外提供的对象存储服务,接口与S3和
Swift兼容。对象存储。
CephFS : CephFS全称Ceph File System,是Ceph对外提供的文件系统服务。文件系统
存储。
ceph的数据存储过程
首先我们看到的是一个File,File是一个文件,这个文件也相当于是我们要存储的数据,我
们在存储这个数据的时候会给它分成对象(object),我们分成的对象的大小是由管理
员调整的,每一个对象都有一个oid(对象id),它是由ino(文件id--也是全局的唯一标
识)和non(文件分片的id) 组成。(例如文件id为A,分片之后的第一个片的non id为
0,则第一个对象的id 为 A0)oid 有利于唯一标识每个对象,从而知道每个对象分属于
哪个文件。由于分割出来的对象很多,如果直接存储到OSD(object storage device)中,
速度会很慢,同时若OSD损坏,将无法迁移到其他的OSD上去。为了解决这个问题,引
入了PG(placement groups)(PG是一个逻辑概念,在linux上是可以直接看到对象
的,但是无法直接看到PG)我们每个对象都会固定映射进一个PG中,当我们要查一个
对象的时候,只需要找到这个对象存到哪个PG中,然后遍历这个PG,无需遍历所有对
象。同时在数据迁移(保证数据存储的均衡性,当扩展新的服务器设备时,会向新的服
务器设备进行数据迁移,防止单点过热)的过程中,也是以PG为基本单位进行迁移。我
们的对象是怎么映射进我们的PG(placement groups)? 这里主要是通过一个哈希算法,
对我们的oid(object id)进行了哈希运算(hash(oid) % mask -> pgid) ,然后他会得出一
个值, 再用这个值模上pg的数量(mask)获得的余数就是我们的pgid, 最后我们的PG会
根据我们管理员设置的一个副本数量进行复制(副本机制),通过CRUSH算法
(CRUSH(pgid)->(osd1,osd2,....))存储到不同的osd中。
ceph的存储方式
对象存储
radosgw : ceph对象网关
ceph对象网关是一个对象存储接口,建立在该对象之上,librados 为应用程序提供了通
往ceph存储集群的RESTful网关,ceph对象存储支持两个接口:s3 和 Swift
ceph的对象存储使用的是ceph对象网关守护进程(radosgw),他是用于与ceph集群进行交互的一个HTTP服务器。
文件系统存储
Ceph文件系统 (Ceph FS)是个POSIX兼容的文件系统,它使用Ceph存储集群来存储数据。Ceph文件系统与
Ceph块设备、同时提供S3和Swift APl的Ceph对象存储、或者原生库( librados )一样,都使用着相同的Ceph存储集群系统。
块存储
块是一个字节序列(例如,一个512字节的数据块)。基于块的存储接口是最常见的存储数据方法,它们基于旋转介质,
像硬盘、CD、软盘。无处不在的块设备接口使虚拟块设备成为与ceph这样的海量存储系统交互的理想之选。 Ceph块
设备是精简配置的、大小可调且将数据条带化存储到集群内的多个OSD。Ceph块设备利用RADOS的多种能力,如
快照、复制和一致性。Ceph的RADOS块设备(RBD)使用内核模块或 librbd库与OSD交互。