leveldb使用时遇到的性能问题

我用leveldb+thrift做了个存储服务,实现了跨进程的数据读写。但随着数据量的增大,我发现数据更新越来越慢。经过排查发现为leveldb使用问题,有问题的逻辑是:服务端每收到一条更新操作,都先查询该数据是否已经存在。后修改为不查询直接写,性能大幅提升(约5倍提升)。切记!

下面其他参数也尝试了,感觉无明显提升(没有数据支持,并不能说明什么):

write_buffer_size:默认4M,

多线程写:多线程调用Put()

kTargetFileSize:db/version_set.cc中的一个变量,决定sst文件的大小,默认2M。修改为8m启动服务后(首先确认原数据不会被删除),服务在空闲时会将原先的2M小文件合并成8M的大文件(并不一定全部合并),减少了文件个数。

阅读更多

没有更多推荐了,返回首页