记一次RocksDB查询慢的问题定位--因大量删除墓碑Tombstone导致

最新推荐文章于 2023-07-14 16:30:40 发布
VIP文章 最新推荐文章于 2023-07-14 16:30:40 发布
阅读量1.9k 收藏 2
点赞数
分类专栏： RocksDB 文章标签： RocksDB LSM-Tree NoSQL数据库 HugeGraph 性能分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javeme/article/details/106334666
版权

在HugeGraph Graph Database + RocksDB Backend环境中，以下gremlin语句查询慢（索引查询），消耗时间将近30s（正常是毫秒级），最终的结果4000条左右：

g.V().hasLabel('process')
 .has('timestamp', between('2020-05-09 06:00:00'
最低0.47元/天 解锁文章
Jermy Li
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Graves_of_the_Internet：互联网的坟墓-互联网坟墓
02-04
- 互联网的坟墓-互联网坟墓 互联网公司逝去产品列表 最初祭奠那些夕阳下的奔跑，祭奠那些逝去的青春 说明 灵感来自 目前仅列出了Baidu ， Alibaba ， Tencent三家互联网公司已经逝去或正在逝去的产品，不包括游戏类应用。 演示截图 访问地址 访问查看。 补充/修改产品列表 如要补充，修改Baidu ， Alibaba ， Tencent产品列表，在graves.js里添加，修改对应坟墓数据即可，如下： { name: 'Name of the grave', link: 'https://any.link-of-the-grave', startAt: 'YYYY
tombstone:带有墓碑PHP死代码检测:headstone::zombie:
05-07
scheb /墓碑 在PHP中实现逻辑删除的概念，以进行死代码检测。 该库为您提供了一个工具箱，用于在代码中放置，跟踪和评估逻辑删除。 什么是墓碑？ 要了解基本概念，请观看《速度》（Velocity Santa Clara）2014年大卫·施内珀尔（David Schnepper）的5分钟演讲。 当您想要识别和清除项目中的死代码时，静态代码分析工具是您的首选武器。 但是这些工具有一些局限性，尤其是在动态语言（如PHP）中： 他们只能告诉您，如果引用了一段代码，而不是实际使用过的代码 他们无法解析动态或生成的呼叫路径 逻辑删除提供了一种跟踪是否实际调用一段代码的方法。 它们是代码中的可执行标记，您可以将它们放置在怀疑无效代码的位置。 然后，您收集生产中的逻辑删除调用。 一段时间后，日志会告诉您哪些墓碑已死，哪些墓碑未死（所谓的“吸血鬼”）。 安装 该库由多个组件组成，需要独立安装和配
tombstone-analyzer:[只读]使用schebtombstone-logger库创建的墓碑的报告生成
05-08
scheb /墓碑分析仪 使用库创建的墓碑的报告生成。 该存储库是的子存储库，并且是READ ONLY 。 请不要在此处提交任何请求请求。 请改用。 文献资料 可以在找到文档。 执照 该软件可在下。
LSM 优化系列（四） -- Rocksdb和Lethe 对Delete问题的优化
天行健，地势坤
11-28 3353
LSM/Rocksdb 引擎在批量 delete之后 会引入读放大，空间放大，写放大等问题，针对该问题的业界方案做一个代码层级的验证。 从rocksdb 到 SIGMOD'20 的 Lethe，欢迎大家讨论。
RocksDB参数调优
qq_42828391的博客
06-30 802
前言 RocksDB 是基于LSM的树存储引擎，可调参的有上百个，并且参数之间还有相互的影响，另外根据RUM猜想，读放大、写放大以及空间放大之间是制约关系，生产环境下需在三种放大因子之间进行权衡，这更增加了调优的难度。 架构图 RUM猜想 猜想指的是在 Read Overhead，Update Overhead 和 Memory (or Storage) Overhead 中，同时优化 2 项时需要以剩余的 1 项劣化作为代价 关键指标 调优需要关注的关键指标： 磁盘写带宽：Compaction的压力超
RocksDB Tombstone 详解
qq_37216252的博客
05-04 1141
为什么会有墓碑？ 我们知道 TP 数据库一般选择 KV 引擎作为存储引擎，数据库的元数据和数据通过一定的编码规则变成 KV 对存储在存储引擎中，比如 CockroachDB 数据库的编码前缀规则如下。
HBase|ClickHouse|MongoDB都在用LSM-Tree存储原理
huzechen的博客
07-20 2905
上篇文章介绍了：ClickHouse内核分析-MergeTree的存储结构和查询加速，其实MergeTree的思想跟LSM-Tree相同的。我就顺藤摸瓜，再来补补LSM-Tree，学习还...
代码修改的微创手术法：RocksDB MultiGet 的协程优化，10 行代码提升 10 倍性能
Gibson314的博客
08-23 593
在 RocksDB 中，MultiGet 就是干这个事的，不过在当时的 RocksDB 中，MultiGet 基本上就是顺次执行各个 Key 的 Get，并没有进行任何(针对 IO 的)优化。boost fiber 大概是最优秀的(有栈)协程实现了，所以我一开始就选择了它，但是在读 fiber 代码时，还是发现了很多可以优化的点，所以，我对 boost fiber 做了。，只要上层使用了这个接口，上层的任务就完成了，至于如何优化，是下层存储引擎的事情。的 IO 优化，查看一下代码，各种相关改动，
Android-xCrash是一个安卓APP的崩溃捕获库。它支持捕获native崩溃和Java异常
08-13
xCrash 能在 App 进程崩溃时，在你指定的目录中生成一个 tombstone 文件（格式与安卓系统的 tombstone 文件类似）。并且，不需要 root 权限或任何系统权限。
tombstone engine 墓碑游戏引擎源码分享
06-28
特点：Tombstone Engin是功能完整，开发速度快的游戏引擎，以前的C4引擎。拥有完整SDK、素材导入、UI编辑器、脚本编辑器等，可快速开发出可玩的FPS游戏。拥有专属的纹理、声音、电影格式，在纹理光源处理上做的十分...
TiDB中的RocksDB读写和Raft日志同步
Sebastien23的博客
05-02 1286
TiDB中的RocksDB读写和Raft日志同步RocksDB存储引擎RocksDB写RocksDB读Raft日志同步 RocksDB存储引擎 TiDB所使用的RocksDB是LSM类储存引擎之一。日志结构合并树（Log Structured Merge Tree, LSM Tree）类存储引擎的特点是写入的时候是追加写入（append only）。无论是INSERT、UPDATE、DELETE操作，都会被转化为追加写入操作。 基于这种特性，LSM Tree类存储引擎的写入速度很快，但是读取速度慢，且写放大
【TiDB理论知识 03】TiKV-RocksDB 数据持久化(写入)与读取过程
DBA之路的博客
07-14 930
Level 0 比较特殊， Level 0就是 Immutable Memtable的一个复刻，内容都是是相同的，如果Level 0的文件达到 达到四个之后，就会触发compaction，每一层都会切割成一个一个的SST Table，就是咱们说的SST 文件，这里的每个SST 文件都是键值对，是按照Key排序的。写日志（wal），写MemTable后一次写入就算完成了，其余的都是在后台完成。MemTable 同时服务于读和写 ，最新写入的数据在MemTable，即MemTable中的数据永远是最新的。
RocksDB原理介绍
热门推荐
naturaltao的博客
07-28 1万+
RocksDBRocksDB介绍B+树LSM树（Log-Structured Merge Tree）LevelDB特点RocksDB对LevelDB的优化RocksDB 写入与删除RocksDB 读取记录 RocksDB介绍 RocksDB是facebook开源的NOSQL存储系统，其设计是基于Google开源的LevelDB，优化了LevelDB中存在的一些问题，其性能要比LevelDB强，设计...
RocksDB（一）：What is RocksDB？
LANGYUEXIAN的博客
12-08 891
RocksDB是FaceBook起初作为实验性质开发的NOSQL存储系统，旨在充分实现快存上存储数据的服务能力。其设计是基于Google开源的LevelDB。
Markdown学习笔记
04-30
Markdown学习笔记
热塑性弹性体，全球前21强生产商排名及市场份额.docx
04-30
热塑性弹性体，全球前21强生产商排名及市场份额
配合eclipse svn插件subclipse-4.3.4版本的javahl
04-30
配合eclipse svn插件subclipse-4.3.4版本的javahl，将其中的features和plugins目录解压到与subclipse-4.3.4插件同一目录下即可。在eclipse 4.31版本上验证有效。
一个基于epoll的多线程 linux c http web服务器.zip
最新发布
04-30
一个基于epoll的多线程 linux c http web服务器.zip
Bash脚本教程：优雅地管理Java应用.zip
04-30
本Bash脚本用于自动化管理Java JAR应用的启动、停止及监控。首先检查JAR进程是否在运行，如在运行则安全终止。随后，使用预设的Java参数启动JAR文件，并将输出和错误日志重定向至日志文件。启动后，脚本持续监控JAR进程状态，确保其在预设时间内成功启动。本脚本提供了灵活的配置和错误处理机制，为Java应用的运维管理带来了便捷与可靠性。
android Tombstone
07-25
Android中的"Tombstone"是指在应用程序发生崩溃或出现严重错误时生成的日志文件。这些日志文件包含有关崩溃原因、线程堆栈跟踪和其他相关信息，可以帮助开发人员调试和修复应用程序中的问题。 Tombstone文件通常...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值