最近调优及其他工作实在太忙,没有太多时间写心得,今天抽空来总结一下阶段性成果吧。从一开始的ceph调研、系统调优开始,ceph集群存储大规模数据之后(集群文件数超过2亿),rgw并发写性能下降的问题一直困扰我们,终于在最近找到了原因及相关解决办法
问题引入
在测试集群的并发性能的时候,我们注意到,经过系统调优后,集群创建初期,至少,在写入数据低于1亿文件数的时期,集群能够保持比较好的性能,并发虽然会有不少波动,但是基本能维持到7500ops(cosbench),但是再继续写,性能就会出现明显的暴跌,降低到1500ops左右,这显然是不可接受的;
我们跟踪排查后发现,每当性能下降剧烈的时候,往往是磁盘有非常厉害的读:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40集群概况ÿ

在ceph集群中,当文件数超过2亿时,rgw并发写性能下降,经排查发现性能下降时伴随磁盘严重读活动。问题源于Rocksdb的LSM-Tree结构,读写流程涉及memtable、wal file和SSTable。通过理解Rocksdb的SST文件合并机制,可找到性能优化策略。
最低0.47元/天 解锁文章
1167

被折叠的 条评论
为什么被折叠?



