【ceph的通用解决方案】-如何将ssd作为hdd的缓存池

作者：【吴业亮】
博客：https://wuyeliang.blog.csdn.net/

开篇：
目前企业的业务场景多种多样，并非所有Ceph存储解决方案都是相同的，了解工作负载和容量要求对于设Ceph解决方案至关重要。Ceph可帮助企业通过统一的分布式集群提供对象存储、块存储或文件系统存储。在设计流程中，这些集群解决方案针对每项要求都进行了优化。该设计流程的首要因素包括 IOPS 或带宽要求、存储容量需求以及架构和组件选择，确保这些因素的合理性有助于完美平衡性能和成本。不同类型的工作负载需要不同的存储基础设施方案。

下面将从以下6个方面介绍ceph的通用解决方案

• 性能方面：

1、如何ssd作为Ceph-osd的日志盘使用
2、如何同一个Ceph集群分别创建ssd和hdd池
3、如何将ssd作为hdd的缓存池
4、如何指定ssd盘为主osd，hdd为从osd

• 稳定及数据安全性方面：

5、Ceph双副本如何保证宕机数据的安全性
6、Ceph纠删码理论与实践

注意：该文章同时在华云数据官方公众号上发布
智汇华云 | Ceph的正确玩法之SSD作为HDD的缓存池

下面我们开始专题：如何将ssd作为hdd的缓存池

一、缓存池原理
缓存分层特性也是在Ceph的Firfly版中正式发布的，这也是Ceph的Firefly版本中被谈论最多的一个特性。缓存分层是在更快的磁盘（通常是SSD），上创建一个Ceph池。这个缓存池应放置在一个常规的复制池或erasure池的前端，这样所有的客户端I/O操作都首先由缓存池处理。之后，再将数据写回到现有的数据池中。客户端能够在缓存池上享受高性能，而它们的数据显而易见最终是被写入到常规池中的。

一般来说，缓存层构建在昂贵/速度更快的SSD磁盘上，这样才能为客户提供更好的I/O性能。在缓存池后端通常是存储层，它由复制或者erasure类型的HDD组成。在这种类型的设置中，客户端将I/O请求提交到缓存池，不管它是一个读或写操作，它的请求都能够立即获得响应。速度更快的缓存层为客户端请求提供服务。一段时间后，缓存层将所有数据写回备用的存储层，以便它可以缓存来自客户端的新请求。在缓存层和存储层之间的数据迁移都是自动触发且对客户端是透明的。缓存分层能以两种模式进行配置。

writeback模式：当Ceph的缓存分层配置为writeback模式时，Ceph客户端将数据写到缓存层类型的池，也就是速度更快的池，因此能够立即接收写入确认。基于你为缓存层设置的flushing/evicting策略，数据将从缓存层迁移到存储层，并最终由缓存分层代理将其从缓存层中删除。处理来自客户端的读操作时，首先由缓存分层代理将数据从存储层迁移到缓存层，然后再把它提供给客户。直到数据变得不再活跃或成为冷数据，否则它将一直保留在缓存层中。

read-only模式：当Ceph的缓存分层配置为read-only模式时，它只适用于处理客户端的读操作。客户端的写操作不涉及缓存分层，所有的客户端写都在存储层上完成。在处理来自客户端的读操作时，缓存分层代理将请求的数据从存储层复制到缓存层。基于你为缓存层配置的策略，不活跃的对象将会从缓存层中删除。这种方法非常适合多个客户端需要读取大量类似数据的场景。

缓存层是在速度更快的物理磁盘（通常是SSD），上实现的，它在使用HDD构建的速度较慢的常规池前部署一个快速的缓存层。在本节中，我们将创建两个独立的池（一个缓存池和一个常规），分别用作缓存层和存储层。

网上找了一篇一篇牛人写的存储分层在OpenStack的一个应用，将ssd池做cinder、nova、glance的缓冲。

https://www.xiaocoder.com/2017/09/05/ceph-for-openstack-storage/

二、理论与实践相结合
1、下面开始配置以cache作为sata-pool的前端高速缓冲池。
1）、新建缓冲池，其中，cache作为sata-pool的前端高速缓冲池。

# ceph osd pool create storage 64
pool 'storage' created
# ceph osd pool create cache 64
pool 'cache' created

2）、设定缓冲池读写策略为写回模式。

ceph osd tier cache-mode cache writeback

3）、把缓存层挂接到后端存储池上

# ceph osd tier add storage cache
pool 'cache' is now (or already was) a tier of 'storage'

4）、将客户端流量指向到缓存存储池

# ceph osd tier set-overlay storage cache
overlay for 'storage' is now (or already was) 'cache'

2、调整Cache tier配置

1）、设置缓存层hit_set_type使用bloom过滤器

# ceph osd pool set cache hit_set_type bloom
set pool 27 hit_set_type to bloom

命令格式如下：

ceph osd pool set {cachepool} {key} {value}

关于Bloom-Filte算法原理可参见：

https://blog.csdn.net/jiaomeng/article/details/1495500

2）、设置hit_set_count、hit_set_period

# ceph osd pool set cache hit_set_count 1
set pool 27 hit_set_count to 1
# ceph osd pool set cache hit_set_period 3600
set pool 27 hit_set_period to 3600
# ceph osd pool set cache target_max_bytes 1000000000000
set pool 27 target_max_bytes to 1000000000000

默认情况下缓冲池基于数据的修改时间来进行确定是否命中缓存，也可以设定热度数hit_set_count和热度周期hit_set_period，以及最大缓冲数据target_max_bytes。
hit_set_count 和 hit_set_period 选项分别定义了 HitSet 覆盖的时间区间、以及保留多少个这样的 HitSet，保留一段时间以来的访问记录，这样 Ceph 就能判断一客户端在一段时间内访问了某对象一次、还是多次（存活期与热度）。

3）、设置min_read_recency_for_promete、min_write_recency_for_promote

# ceph osd pool set cache min_read_recency_for_promote 1
set pool 27 min_read_recency_for_promote to 1
# ceph osd pool set cache min_write_recency_for_promote 1
set pool 27 min_write_recency_for_promote to 1

缓存池容量控制
先讲解个概念缓存池代理层两大主要操作

•刷写（flushing）：负责把已经被修改的对象写入到后端慢存储，但是对象依然在缓冲池。

•驱逐（evicting）：负责在缓冲池里销毁那些没有被修改的对象。

缓冲池代理层进行刷写和驱逐的操作，主要和缓冲池本身的容量有关。在缓冲池里，如果被修改的数据达到一个阈值（阈值（容量百分比），缓冲池代理就开始把这些数据刷写到后端慢存储。当缓冲池里被修改的数据达到40%时，则触发刷写动作。

# ceph osd pool set cache cache_target_dirty_ratio 0.4

当被修改的数据达到一个确定的阈值（容量百分比），刷写动作将会以高速运作。例如，当缓冲池里被修改数据达到60%时候，则高速刷写。

# ceph osd pool set cache cache_target_dirty_high_ratio 0.6

缓冲池的代理将会触发驱逐操作，目的是释放缓冲区空间。例如，当缓冲池里的容量使用达到80%时候，则触发驱逐操作。

# ceph osd pool set cache cache_target_full_ratio 0.8

除了上面提及基于缓冲池的百分比来判断是否触发刷写和驱逐，还可以指定确定的数据对象数量或者确定的数据容量。对缓冲池设定最大的数据容量，来强制触发刷写和驱逐操作。

# ceph osd pool set cache target_max_bytes 1073741824

同时，也可以对缓冲池设定最大的对象数量。在默认情况下，RBD的默认对象大小为4MB，1GB容量包含256个4MB的对象，则可以设定：

# ceph osd pool set cache target_max_objects 256

4）、缓冲池的数据刷新问题在缓冲池里，对象有最短的刷写周期。若被修改的对象在缓冲池里超过最短周期，将会被刷写到慢存储池。

# ceph osd pool set cache cache_min_flush_ age 600

注意：单位是分钟

设定对象最短的驱逐周期。

# ceph osd pool set cache cache_min_evict_age 1800

3、删除缓存层
删除readonly缓存
1）、把缓存模式改为 none 即可禁用。

ceph osd tier cache-mode {cachepool} none

2）、去除后端存储池的缓存池。

ceph osd tier remove {storagepool} {cachepool}

删除writeback缓存
1）、把缓存模式改为 forward ，这样新的和更改过的对象将直接刷回到后端存储池

# ceph osd tier cache-mode cache forward --yes-i-really-mean-it
set cache-mode for pool 'cache' to forward

2）、确保缓存池已刷回，可能要等数分钟

# rados ls -p cache

可以通过以下命令进行手动刷回

# rados -p cache cache-flush-evict-all

3）、取消流量指向缓存池

# ceph osd tier remove-overlay storage
there is now (or already was) no overlay for 'storage'

4）、剥离缓存池

# ceph osd tier remove storage cache
pool 'cache' is now (or already was) not a tier of 'storage'

参考：

https://yq.aliyun.com/articles/606731