ceph 后端存储的类型

ceph 后端支持多种存储引擎,以插件式的方式来进行管理使用,目前支持 filestore kvstore memstore 以及最新的 bluestore ,目前默认使用的 filestore ,但是因为 filestore 在写数据前需要先写 journal ,会有一倍的写放大,并且 filestore 一开始只是对于机械盘进行设计的,没有专门针对 ssd 做优化考虑,因此诞生的 bluestore 初衷就是为了减少写放大,并针对 ssd 做优化,而且直接管理裸盘,从理论上进一步减少文件系统如 ext4/xfs 等部分的开销,目前 bluestore 还处于开发优化阶段,在 jewel 版本还是试用版本,并且最新的 master 相比 jewel 已经做了大的重构,预期会在后续的大版本中稳定下来成为默认的存储引擎。

Jewel 版本默认:
filestore:
cd /var/lib/ceph/osd/ceph-1/

lrwxrwxrwx   1 ceph ceph    58 11月  1 19:10 journal -> /dev/disk/by-partuuid/39703bdc-258e-4ffa-b44a-fe67d9aa9d69

-rw-r--r--   1 ceph ceph    37 11月  1 19:10 journal_uuid


luminous 版本默认:

cd /var/lib/ceph/osd/ceph-1/

bluestore:

lrwxrwxrwx 1 ceph ceph  58 11月 17 19:19 block -> /dev/disk/by-partuuid/7aaaf2f9-3673-4488-a4af-f1e13c3fb5c3

-rw-r--r-- 1 ceph ceph  37 11月 17 19:19 block_uuid


Ceph Jewel版本的一个重大更新是开始支持使用bluestore作为objectstore,用于代替之前的filestore。与filestore最大的不同是,bluestore可以直接读写磁盘,即对象数据是直接存放在裸设备上的,这样解决了一直被抱怨的数据双份写的问题。需要说明的是,bluestore尚处于开发阶段,Jewel虽然已经集成,但还是处于试验阶段,应该要到L版才能真正生产可用。

原理:

Bluestore直接使用一个原始分区来存放ceph对象数据,不再需要任何文件系统,也就是说一个OSD对应一个裸分区;而OSD的元数据存放在一个名为RocksDB的键值对数据库中。

默认的Bluestore数据存放模型:

一个OSD对应一个磁盘,磁盘的第一个分区:默认只有100MB,XFS文件系统,用于存放osd相关的 ceph_fsid、fsid、keyring等,并且其中包含一个名为block的软连接,用于指向第二个分区,默认挂载到/var/lib/ceph/osd/ceph-X位置。

第二个分区:原始分区,第一个分区中的block软连接指向的就是这个分区,这个分区是真正存放对象数据的分区。

 RocksDB存放的数据类型:

对象的元数据

write-ahead日志

ceph omap数据

allocator metadata(元数据分配器):决定数据存放位置

注:RocksDB的WAL和DB可以通过配置存在在不同的磁盘或者小分区中。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值