关于ssdb性能方面的一些思考

    最近接触到ssdb,遇到性能问题,当大量写入数据的时候,查询的延迟会比较高。经过查资料,发现有一个配置参数比较关键:cache size。初看上去,增大cache size,当然会提高性能,但是事实上却并非如此——减小cache size反而会提高性能。

    ssdb是基于leveldb实现的,其基本原理这里就不再赘述了,下面我说一下为什么减小cache size反而会提高性能。

    1.首先,操作系统会利用系统中空闲的内存来缓存读入/写出磁盘的文件,因此即使减小了cache size,让出的哪部分内存也没有浪费,而是在操作系统层面将数据库文件缓存到了内存中。

    2.我们知道,leveldb采用了snappy来压缩数据,其实存放在block cache中的数据是未压缩的,而存放在数据库文件中的数据才是压缩了的,将block cache的size减小,腾出的内存用于缓存数据库文件,这样可以使得内存中缓存更多的数据,从而减少实际的磁盘I/O操作次数。同时,由于snappy压缩比较搞笑,所以压缩、解压所额外消耗的CPU十分有限,与缓存更多文件数据的好处相比,这个坏处在现在实际的服务器硬件配置下几乎可以忽略不计。

    3.leveldb的block cache是只能读取不能写入,当数据库有大量写入的时候,leveldb会有频繁的compact操作,不断地将现有的sstable文件合并成新的sstable文件。不幸的事,block cache中缓存的数据是与文件相关的,因此当频繁compact的时候,block cache就会出现大量的cahe失效——本来就珍贵的内存资源就这样被一些无用的数据占据了,之后的查询还需要不断地进行IO操作,以将新的数据加载入内存。而操作系统的缓存就不会有这样的问题——操作系统将空余的内存映射到磁盘文件上,这样可以读也可以写,因此,让操作系统负责缓存数据的时候,compact操作并不会造成内存中数据的失效,从而大量写操作也就不会严重影响读操作了。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值