滴滴Ceph分布式存储系统优化之锁优化

桔妹导读：Ceph是国际知名的开源分布式存储系统，在工业界和学术界都有着重要的影响。Ceph的架构和算法设计发表在国际系统领域顶级会议OSDI、SOSP、SC等上。Ceph社区得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是国际云计算领域应用最广泛的开源分布式存储系统，此外，Ceph也广泛应用在文件、对象等存储领域。Ceph在滴滴也支撑了很多关键业务的运行。在Ceph的大规模部署和使用过程中，我们发现了Ceph的一些性能问题。围绕Ceph的性能优化，我们做了很多深入细致的工作。这篇文章主要介绍我们通过调试分析发现的Ceph在锁方面存在的问题和我们的优化方法。

1. 

背景

在支撑一些延迟敏感的在线应用过程中，我们发现Ceph的尾延迟较差，当应用并发负载较高时，Ceph很容易出现延迟的毛刺，对延迟敏感的应用造成超时甚至崩溃。我们对Ceph的尾延迟问题进行了深入细致的分析和优化。造成尾延迟的一个重要原因就是代码中锁的使用问题，下面根据锁问题的类型分别介绍我们的优化工作。本文假设读者已熟悉Ceph的基本读写代码流程，代码的版本为Luminous。

2. 

持锁时间过长

▍2.1 异步读优化

Ceph的osd处理客户端请求的线程池为osd_op_tp，在处理操作请求的时候，线程会先锁住操作对应pg的lock。其中，处理对象读请求的代码如下图所示，在锁住对象所属pg的lock后，对于最常用的多副本存储方式，线程会同步进行读操作，直到给客户端发送返回的数据后，才会释放pg lock。

在进行读操作时，如果数据没有命中page cache而需要从磁盘读，是一个耗时的操作，并且pg lock是一个相对粗粒度的锁，在pg lock持有期间，其它同属一个pg的对象的读写操作都会在加锁上等待，增大了读写延迟，降低了吞吐率。同步读的另一个缺点是读操作没有参与流量控制。

我们对线上集群日志的分析也验证了上述问题，例如，一个日志片段如下图所示，图中列举了两个op的详细耗时信息，这两个op均为同