guzyguzyguzy的博客

由于项目需要，最近深入细致的了解了ceph的读写流程，并且跟项目组做了一个代码串讲。附上串讲用的ppt。个人认为，理解了ceph的io流水线模型，是理解整个io读写流程的关键。ppt下载链接如下：http://download.csdn.net/detail/guzyguzyguzy/8849157

深入理解ceph-disk的工作机制，通过ceph-disk 部署osd, 数据分区和journal 分区将自动挂载到正确的目录，机器重启也能保证工作。通过ceph-disk部署osd, 将大大提高ceph部署运维的自动化程度，并降低操作出错几率。

ceph 用来保证数据完整性的机制(read verify)。 Ceph 的OSD 定期启动scrub线程来扫描部分对象，通过与其他副本比对来发现是否一致，如果存在不一致，抛出异常提示用户手动解决。具体讲，scrub 以PG 为单位，对于每一个pg,ceph 分析该pg下所有的object, 产生一个类似于元数据信息摘要的数据结构，如对象大小，属性等，叫scrubmap, 比较主与副scrub

如果直接使用ceph 的src.rpm包，编译成功，没有任何错误。但是，如果从github上取ceph的源码编译，则老实遍不成功，报如下错误：No rule to make target `erasure-code/jerasure/jerasure/src/cauchy.c'网上搜了一把，也有其他人遇到这样的问题，但都没有给出解决方案。仔细研究了一下，错误原因原来是这样的：

如果直接使用ceph 的src.rpm包，编译成功，没有任何错误。但是，如果从github上取ceph的源码编译，则老实遍不成功，报如下错误：No rule to make target `erasure-code/jerasure/jerasure/src/cauchy.c'网上搜了一把，也有其他人遇到这样的问题，但都没有给出解决方案。仔细研究了一下，错误原因原来是这样的：

一．什么是pg的revovery？为什么需要它？考虑两种最常见的场景：1. osd暂时的故障下线然后又上线。2.osd永久的故障下线，更换硬盘重新上线。无论哪种情况，osd上线后通常会发现，自己承载的pg有数据落后了，需要进入恢复模式，从其它osd上获取新的数据达到同步。这个过程就是pg的recovery过程。recovery分为两种：1. log-based reco

最近研究了在出现错误的状况下，ceph IO 的一致性如何保证。代码基于hammer0.94.5版本。 构建一个集群，包括三个OSD, osd.0 osd.1 osd.2。

一，可选备份解决方案 Ceph 提供了一些特性和接口，实现数据备份。目前看，有两个解决方案： 1. rbd mirroring 即在两个独立的Ceph集群之间实现实时数据镜像。这种解决方案可以做到实时备份，但是要求Ceph的安装版本是Jewel或更新。目前我们的版本是Hammer,需要升级才能支持此特性。 2. 基于快照技术的备份。 基于Ceph RBD的快照技术，通过差量文件的方式定期将

rbd 增量备份 export-diff import-diff的代码实现