理解Ceph CRUSH数据定位算法

Ceph是当下最优秀的分布式存储系统之一。其中Ceph EBS块设备结合虚拟机的使用场景十分流行。
Ceph的核心之一是其数据定位算法，称之为CRUSH算法，这是一种用户可控的伪随机算法。理解此算法对掌握Ceph助益很大。
下面通过示例来分析CRUSH算法。我们部署一个Ceph集群，用一个节点做monitor，用两个节点（2×3=6块硬盘）做OSD数据服务器，OSD服务器的层次结构如下：

注一：层次结构在Ceph中称之为crushmap，描述了物理集群部署结构。crushmap是Ceph的核心数据之一，由Monitor集群负责维护。
注二：crushmap除了描述物理部署结构之外，还描述了数据存放采取的动作。比如本文示例中动作是step take default，step chooseleaf firstn 0 type host，...

CRUSH算法分两步：
第一步、输入是要存储数据（称为object）的key，Ceph利用一个“字符串->数值”哈希算法计算object该放在哪个PG下。
（注：PG是Ceph的一个概念，将多个数据分组存放，PG就是这个“组”，分组的目的是减少元数据量。）
第二步、根据第一步计算得到的pgid，计算PG应该放在哪些osd硬盘上。——这是CRUSH算法的核心部分。

下面重点讲第二步，也就是CRUSH算法的核心。假设我们存入的object key="bigfile"，第一步映射到pgid=6b。
算法第二步目的是计算“bigfile”应该存放到哪两个osd硬盘上（因为设置备份数为2），输出6b，输出应该是[x, y]，比如[5,2]，代表bigfile存放在osd.5和osd.2上，并且是放在PG 6b下面。
1、参考上面的结构图，目前在root层，目标是从下一层选择第1个Host，选取算法是straw哈希算法（可在crushmap中配置）。
2、假设选取得到Host osd1，目前在第二层，目标是从下一层中选择一个osd硬盘，选取算法默认仍是straw哈希算法。
3、假设选取得到osd.5，获得第一个位置。返回顶层继续计算。
4、继续从root层执行，此时如果straw哈希算法输出不变，仍会得到相同结果。这自然不合要求，因此straw()还有一个输入参数是当前是第几次计算。
5.1、这次root straw()可能得到Host osd0，osd0层继续straw()可能得到osd.2，于是获得第二个位置，CRUSH计算结束，返回结果。
5.2、这次root straw()可能仍得到Host osd1，此时会被拒绝，因为根据crushmap设置的规则，数据尽量分散放，都放在一个机器上，机器一挂所有数据都访问不了。因此会递增输入参数“计算次数”并重新计算。
5.2.1、后续某次继续得到Host osd0，继续计算下一层，并最终返回正确结果。
5.2.2、如果连续尝试了>choose_total_tries（在crushmap中可配，默认50）次之后，表示第二个位置的计算失败，仅返回部分结果[5,]。

- EOF -