RocksDB compaction优化

已于 2024-05-14 23:31:36 修改
阅读量306 收藏
点赞数
文章标签： db 后端 分布式
于 2022-12-13 17:45:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wojiaowugen/article/details/128305506
版权

原文链接:

RocksDB compaction优化 - 知乎

困扰Ceph用户(rocksdb使用者)多年的compaction问题终于获得了解决，特此记录这个重大更新。

RocksDB 社区提到在 7.5.3 版本在修复 Compaction 计算问题之后优化效果十分明显。

Kvrocks 社区的贡献者 @zhaoxiaobiao[2] 之前也遇到过类似的问题，对于该优化十分感兴趣，尝试验证之后将测试数据结果分享到社区。 从整体测试结果来看，RocksDB 7.7.3 的 Compaction 过程对于写入 QPS 和延时基本没有影响，而对比组的 RocksDB 6.29.5 在 Compaction 期间 QPS 会几乎掉到 0。

带来这个优化的主要原因是 RocksDB 7.5.3 修复了一个 Compaction Pending Bytes 计算放大的问题，具体见: rocksdb #issue 9423[6]

宽窄存储
关注
RocksDB 优化小解（一）：Indexing SST
qingtengmuniao的专栏
08-21 374
Google LevelDB 是一个 LSM-Tree 的实现典范。但在开源出来后，为了保持轻量、简洁的风格，除了修修 Bug 之外，一直没有做太大的更新迭代。为了让其能够满足工业环境中， Facebook（Meta） 在 Fork 了 LevelDB 之后，做了多方面的优化。硬件方面，可以更有效地利用现代硬件，如闪存和快速磁盘、多核 CPU等；软件方面，针对读写路径、Compaction 也做了大量优化，如 SST 索引、索引分片、前缀 Bloom Filter、列族等。
RocksDB参数调优
水草的专栏
07-15 2973
本文主要研究基于不同参数的调优，来展示对性能的影响，以供读者参考，提供优化的思路和方向。
Ceph RocksDB 深度调优
最新发布
大隐隐于野
09-30 1015
调优 Ceph 可能是一项艰巨的挑战。在 Ceph、RocksDB 和 Linux 内核之间，实际上有数以千计的选项可以进行调整以提高存储性能和效率。由于涉及的复杂性，比较优的配置通常分散在博客文章或邮件列表中，但是往往都没有说明这些设置的实际作用或您可能想要使用或避免使用它们的原因。这种现象的一个特别常见的例子是调优 Ceph 的 BlueStore RocksDB。本文档将尝试解释这些选项的实际作用以及您可能想要调整它们或保持它们默认值的原因。
RocksDB 的范围查询是如何优化的？
weixin_48726650的博客
07-04 1252
MySQL 的存储引擎除了最常用的是 InnoDB 引擎之外还有一个 MyRocks 引擎也经常会用到，它是基于 RocksDB 开发的一套存储引擎，比 InnoDB 性能要高出 N 倍。 在索引实现上，InnoDB 的索引使用 B+ 树实现，B+ 树的叶子节点上存储了索引的 key，所有的叶子结点使用指针串了起来，非常易于索引的遍历操作。比如下面这个语句（key1 字段加了索引）的范围查询就可以很好的利用这个特性 select key1 from t where key1 > 'abc' and
RocksDB调优指南.docx
10-31
本指南的目的是提供你足够的信息用于根据自己的工作负载和系统配置调优RocksDB。 RocksDB非常灵活，这有好也有坏。你可以真多很多工作场景和存储技术进行调优。在Facebook，我们使用相同的代码跑内存工作压力，闪盘设备和机械硬盘。然而，灵活性不总是对用户友好的。我们引入了大量的调优参数，让人疑惑不解。我们希望这个指南会帮助你压榨你的系统的最后一滴性能并且完全利用你的资源。 我们假设你有一定的基础知识，了解LSM工作原理。关于LSM的资源非常多，不需要再写一个了。
RocksDB的关键参数与优化方案
程序员小董的专栏
02-27 1295
默认情况下max_total_wal_size是0，系统会使用多个columnFamily的write_buffer_size* max_write_buffer_number的积相加。控制并发度： 当增大 min_write_buffer_number_to_merge 的值时，系统会允许更多的MemTable转换为Immutable MemTable而不立即进行Flush操作，这意味着可以在内存中累积更多的数据，提高并发写入性能，尤其是在高吞吐量场景下。单个memtable的最大大小，默认64MB。
数据库RocksDB优化方案
搬砖工
07-14 3137
Rocksdb优化方案 写放大优化 若数据库写入为10M/s，磁盘写入的30MB/s（如compaction时io导致），则写入放大为3（使用iostats），[写入放大率会缩短闪存寿命](Optimizing Space Amplification in Rocksdb)。 kv分离 [WiscKey](separting keys from values in ssd-conscious storage) 专门为SSD设计，将键值分开，该论文时基于leveldb进行改造且已经开源 changlenges
RocksDB_rocksdb_快速hash存储_
10-02
随着Memtable的数据不断写入和持久化，RocksDB会触发Compaction过程，将多个SSTable文件合并为更少的文件，以此优化存储空间和读取性能。哈希表在这一过程中起到辅助作用，帮助找到需要合并的数据。 ### 9. 性能...
rocksdb-8.5.3.tar.gz
09-20
9. **性能调优**：RocksDB的性能可以通过调整多种参数进行优化，如写入缓冲区大小、Compaction阈值、内存分配策略等。根据实际工作负载，合理设置这些参数能显著提升系统性能。 10. **版本控制**：8.5.3是RocksDB的...
rocksdb-7.10.2.tar.gz
03-16
- ** compaction**：RocksDB通过compaction机制定期合并SSTables，优化存储空间并减少读取时的I/O操作。 2. **工作流程** - **写入流程**：数据首先写入Memtable，然后Memtable满时被flush到磁盘形成一个新的L0 ...
Ceph优化系列（四）：RocksDB 使用 ARM 64 位 CRC32C 硬件优化指令
Yannick Jiang 的专栏
11-24 1969
一、前言 CRC32（A cyclic redundancy check 32）应用于校验，为了保证数据的正确性，采用的一种检错手段。 CRC32C(CRC32 Castagnoli) 与 CRC32 不同的是它有多项式常数，也就是说生成的CRC表不同，而算法是一模一样. 二、内容 1. Ceph的当前版本nautilus(v14.2.2) 和 Ceph的master 分支中包含的 R...
rocksdb原理_ceph性能调优历程-rocksdb篇(1)
weixin_39776787的博客
12-21 916
最近调优及其他工作实在太忙，没有太多时间写心得，今天抽空来总结一下阶段性成果吧。从一开始的ceph调研、系统调优开始，ceph集群存储大规模数据之后(集群文件数超过2亿)，rgw并发写性能下降的问题一直困扰我们，终于在最近找到了原因及相关解决办法问题引入在测试集群的并发性能的时候，我们注意到，经过系统调优后，集群创建初期，至少，在写入数据低于1亿文件数的时期，集群能够保持比较好的性能，并发虽然会有...
RocksDB 介绍
热门推荐
weixin_36145588的博客
11-15 2万+
RocksDB相对传统的关系数据库的一大改进是采用LSM树存储引擎。LSM树是非常有创意的一种数据结构，它和传统的B+树不太一样，下面先说说B+树。 RocksDB相对传统的关系数据库的一大改进是采用LSM树存储引擎。LSM树是非常有创意的一种数据结构，它和传统的B+树不太一样，下面先说说B+树。 B+ 树 上图是B+树的一个例子。 B+树根节点和枝节点分别记录每个叶
Rocksdb Compaction原理
lv0918_qian的博客
02-20 415
转载地址：https://www.cnblogs.com/cchust/p/6007486.html 概述 compaction主要包括两类：将内存中imutable 转储到磁盘上sst的过程称之为flush或者minor compaction；磁盘上的sst文件从低层向高层转储的过程称之为compaction或者是major compaction。对于myrocks来说，compaction过程都由后台线程触发，对于minor compaction和major compaction分别对应一...
RocksDB Compaction（一）介绍
lxzhong1的博客
02-21 2750
RocksDB是facebook开发的一款高性能的kv数据库，被广泛应用于各种工作场景中，并且它针对闪存进行了良好的优化。 RocksDB内部基于LSM tree的结构，LSM（Log-structured Merge Tree，日志结构化的合并书）这里就不多介绍，网上资料很多。总而言之，RocksDB先将写入缓存在内存中，然后定时刷入底层存储（该操作称为flush），这样做的优点是提供很快的写入速度。同时，在底层存储中，为了维护LSM tree的分层有序结构，RocksD...
谈谈RocksDB的Compaction2
程序员小董的专栏
02-19 789
前文已经明确了一次compaction的源层文件，目标层文件。这次，咱们聊聊怎么具体的执行一次compaction。
RocksDB Compaction（二）源码分析
lxzhong1的博客
02-21 1617
本文的主要目的是（1）了解RocksDB源码中Flush和Compaction的基本流程（2）了解Compaction/FLush过程中是在何处、如何产生I/O的。由于RocksDB的源码由C++撰写而且代码量非常巨大，程序调用栈很复杂， 在学习过程中发现这篇文章写得非常详细、透彻，放上链接以供参阅。Rocksdb Compaction源码详解（二）：Compaction 完整实现过程 概览_天行健，地势坤-CSDN博客 线程调度过程&...
RocksDB SSTable详解：数据结构与Compaction策略
- Level-based Compaction：RocksDB采用分层的存储策略，每个级别（Level）都有一个目标大小，compaction的目标是保持各层级的文件大小在目标范围内。L0文件数量达到特定阈值时会触发compaction，通常包括所有文件...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值