记一次RocksDB查询慢的问题定位--因大量删除墓碑Tombstone导致

最新推荐文章于 2024-09-30 11:13:10 发布
最新推荐文章于 2024-09-30 11:13:10 发布
阅读量2k 收藏 2
点赞数
分类专栏： RocksDB 文章标签： RocksDB LSM-Tree NoSQL数据库 HugeGraph 性能分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javeme/article/details/106334666
版权
在HugeGraph + RocksDB环境中，由于大量删除操作产生了墓碑Tombstone，导致某gremlin查询耗时30s。分析发现，RocksDB的id get操作占据了主要时间。解决方案包括避免频繁删除或使用delete代替delete-range，以及在大量删除后执行compaction来提升性能。
摘要由CSDN通过智能技术生成

在HugeGraph Graph Database + RocksDB Backend环境中，以下gremlin语句查询慢（索引查询），消耗时间将近30s（正常是毫秒级），最终的结果4000条左右：

g.V().hasLabel('process')
 .has('timestamp', between('2020-05-09 06:00:00'
最低0.47元/天 解锁文章
Jermy Li
关注
专栏目录
使用反汇编工具IDA查看动态库的汇编代码上下文，结合安卓系统生成的Tombstone文件，排查安卓app程序底层C++库的崩溃问题
dvlinker的技术专栏
08-14 3万+
使用IDA反汇编工具查看汇编代码上下文，结合安卓系统自动生成的Tombstone文件，去分析安卓app程序底层C++模块的崩溃问题。
RocksDB Tombstone 详解
qq_37216252的博客
05-04 1462
为什么会有墓碑？ 我们知道 TP 数据库一般选择 KV 引擎作为存储引擎，数据库的元数据和数据通过一定的编码规则变成 KV 对存储在存储引擎中，比如 CockroachDB 数据库的编码前缀规则如下。
HBase|ClickHouse|MongoDB都在用LSM-Tree存储原理
huzechen的博客
07-20 2994
上篇文章介绍了：ClickHouse内核分析-MergeTree的存储结构和查询加速，其实MergeTree的思想跟LSM-Tree相同的。我就顺藤摸瓜，再来补补LSM-Tree，学习还...
RocksDB Compaction的常见问题
最新发布
大隐隐于野
09-30 1136
在RocskDB内每个Column Family都分配了一个ID，在SST文件有Column Family ID，默认L1层sst file的大小由参数target-file-size-base决定，L2-Lmax的sst文件大小为target-file-size-base*target_file_size_multiplier (默认为1), TiDB内支持参数target-file-size-base，默认为8M。在进行读取时首先使用二分查找可能包含数据的文件，然后在文件内使用二分查找需要的数据。
代码修改的微创手术法：RocksDB MultiGet 的协程优化，10 行代码提升 10 倍性能
Gibson314的博客
08-23 710
在 RocksDB 中，MultiGet 就是干这个事的，不过在当时的 RocksDB 中，MultiGet 基本上就是顺次执行各个 Key 的 Get，并没有进行任何(针对 IO 的)优化。boost fiber 大概是最优秀的(有栈)协程实现了，所以我一开始就选择了它，但是在读 fiber 代码时，还是发现了很多可以优化的点，所以，我对 boost fiber 做了。，只要上层使用了这个接口，上层的任务就完成了，至于如何优化，是下层存储引擎的事情。的 IO 优化，查看一下代码，各种相关改动，
Redis学习笔记
yueliangzy的博客
05-29 1567
Redis是一款基于键值对的NoSQL数据库，key是String类型，它的value支持多种数据结构：字符串、哈希、链表、集合、有序集合等。（使得Redis 能够在实际业务场景中得到广泛的应用）Redis将所有的数据都存放在内存中，所以它的读写性能十分惊人。同时，Redis还可以将内存中的数据以快照（RDB，整体拷贝，会产生阻塞、不适合实时备份）或日志（AOF， 增量存，存指令，数据体积大、恢复慢）的形式保存到硬盘上，以保证数据的安全性。
rocksdb的设置选项和基本调整
neuzhangno的博客
05-10 1014
除了在 RocksDB 上使用基本操作编写代码外，您可能还对如何调整 RocksDB 以实现所需的性能感兴趣。在本页中，我们将介绍如何进行初始设置，该设置应该足以满足许多用例的需求。RocksDB 有许多配置选项，但其中大多数可以被许多用户安全地忽略，因为它们中的大多数都是为了影响非常特定的工作负载的性能。对于一般用途，大多数 RocksDB 选项可以保留为默认值，但是，我们建议在下面使用一些选项，每个用户都可能希望尝试使用常规工作负载。
RocksDB参数调优
qq_42828391的博客
06-30 966
前言 RocksDB 是基于LSM的树存储引擎，可调参的有上百个，并且参数之间还有相互的影响，另外根据RUM猜想，读放大、写放大以及空间放大之间是制约关系，生产环境下需在三种放大因子之间进行权衡，这更增加了调优的难度。 架构图 RUM猜想 猜想指的是在 Read Overhead，Update Overhead 和 Memory (or Storage) Overhead 中，同时优化 2 项时需要以剩余的 1 项劣化作为代价 关键指标 调优需要关注的关键指标： 磁盘写带宽：Compaction的压力超
tombstone-analyzer:[只读]使用schebtombstone-logger库创建的墓碑的报告生成
05-08
scheb /墓碑分析仪 使用库创建的墓碑的报告生成。 该存储库是的子存储库，并且是READ ONLY 。 请不要在此处提交任何请求请求。 请改用。 文献资料 可以在找到文档。 执照 该软件可在下。
tombstone:带有墓碑PHP死代码检测:headstone::zombie:
05-07
scheb /墓碑 在PHP中实现逻辑删除的概念，以进行死代码检测。 该库为您提供了一个工具箱，用于在代码中放置，跟踪和评估逻辑删除。 什么是墓碑？ 要了解基本概念，请观看《速度》（Velocity Santa Clara）2014年...
关于 Rocksdb 性能分析 需要知道的一些“小技巧“ -- perf_context的“内功” ，systemtap、perf、 ftrace的颜值
天行健，地势坤
08-21 4164
rocksdb 应用中的性能分析小工具：1. rocksdb 内部perf_context , statistics 2. systemtap、perf (on-cpu, off cpu火焰图, probe 子功能等)、 ftrace
RocksDB调优指南
zerooffdate的专栏
04-22 1万+
本文原味来自rocksdb的英文wiki。翻译后放在了我的repo中rocksdb-doc-cn，此处只做简单转发，并且原文没有做任何校对，欢迎提修改意见。希望能帮助到有需要的朋友 下面是正文
Rocksdb 日志分析工具 -- 性能和稳定性分析
天行健，地势坤
03-05 2020
Rocksdb 日志分析工具 ： 分析LOG日志中出现的性能和稳定性问题，并给出优化建议。 手把手教你发布自己的python package，为全球开发者使用。
如何做到“恰好一次”地传递数十亿条消息
博客
07-06 460
原文：Delivering Billions of Messages Exactly Once 作者：Amir Abu Shareb 翻译：雁惊寒 译者注：在分布式领域中存在着三种类型的消息投递语义，分别是：最多一次（at-most-once）、至少一次（at-least-once）和恰好一次（exactly-once）。本文作者介绍了一个利用Kafka和RocksDB来构建的“...
RocksDB sst 文件组成格式
code by code
04-23 4490
Footer 存储了index/meta_index的offset，还存了magic标识Metaindex 存储了 [meta block: filter] .、[meta block: properties] [meta block: compression dictionary]、[meta block: range deletion tombstone]、 [metaindex block]...
RocksDB基本架构与原理介绍
热门推荐
qq_30708747的博客
10-19 2万+
Rocksdb Flink提供基于流的有状态计算，除了提供实时数据流的处理能力，还需要将计算产生的状态存储起来。 为了满足状态存取需求，提供了memory、flie system、rocksdb三种类型的状态存储机制。 memory存取高效单空间有限，且可用性低； file system提供状态持久化能力但存取性能较低； rocksdb提供数据快速写入以及数据持久化的能力。本文介绍了Rocksdb设计的基本架构。 RocksDB介绍 Rocksdb 是基于Google LevelDB研发的高性能kv持久化存
RocksDB 的范围查询是如何优化的？
weixin_48726650的博客
07-04 1252
MySQL 的存储引擎除了最常用的是 InnoDB 引擎之外还有一个 MyRocks 引擎也经常会用到，它是基于 RocksDB 开发的一套存储引擎，比 InnoDB 性能要高出 N 倍。 在索引实现上，InnoDB 的索引使用 B+ 树实现，B+ 树的叶子节点上存储了索引的 key，所有的叶子结点使用指针串了起来，非常易于索引的遍历操作。比如下面这个语句（key1 字段加了索引）的范围查询就可以很好的利用这个特性 select key1 from t where key1 > 'abc' and
HugeGraph图数据库你可能不知道的小秘密
xiaojiayudst的博客
11-30 3422
看下图箭头指向，可以得出的信息：zhoney knows javeme 两个人都created Hugegraph->supports Gremlin 这是一条到达最底层的路径。Okram 与 mbroecheler 不认识，但都created Titan->supports Gremlin这个又是另外一条路经。另外：3:Gremlin、2:Titan、2:Hugegraph 分别代...
Slog调试指南：问题定位与分析
"本文主要介绍了Slog的使用和常见问题的定位分析，包括Slog的开启方式、SlogUI的使用以及通过命令行工具Slogctl进行操作的方法。此外，还提到了Slog目录结构，便于理解日志的存储位置和内容。" ### 1. Slog介绍 ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值