rocksdb引擎简析

最新推荐文章于 2023-11-10 08:54:13 发布
最新推荐文章于 2023-11-10 08:54:13 发布
阅读量2.3k 收藏 7
点赞数 2
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eagle992018/article/details/82880599
版权
Rocksdb是Facebook基于Leveldb开发的key-value存储系统，它引入了ColumnFamily概念，支持多线程Compaction和原地更新等优化。在写流程中，数据先写入log和memtable，然后触发FLUSH和COMPACTION，形成层级结构的SST文件。读流程遵循memtable到SST文件的顺序，利用布隆过滤器减少I/O操作。Rocksdb的优化策略使其在数据库领域具有更高的性能和灵活性。
摘要由CSDN通过智能技术生成

rocksdb研究1--rocksdb引擎简析

rocksdb简介

Rocksdb是facebook开源的key-value存储系统，其设计是基于Google开源的Leveldb，因此应用了LSM (Long Structure Merge Tree)策略。

leveldb 构架

在这里插入图片描述
从图中可以看出，构成LevelDb静态结构的包括六个主要部分：内存中的MemTable和Immutable MemTable以及磁盘上的几种主要文件：Current文件，Manifest文件，log文件以及SSTable文件。

当应用写入一条Key:Value记录的时候，LevelDb会先往log文件里写入，成功后将记录插进Memtable中，这样基本就算完成了写入操作，因为一次写入操作只涉及一次磁盘顺序写和一次内存写入，所以这是为何说LevelDb写入速度极快的主要原因。

Log文件在系统中的作用主要用于系统崩溃时恢复数据。当系统崩溃时，如果内存中的数据还没有来得及Dump到磁盘，可以从Log文件的记录恢复内存中的Memtable。

当Memtable插入的数据占用内存到了一个界限后，需要将内存的记录导出到外存文件中，LevleDb会生成新的Log文件和Memtable，原先的Memtable就成为Immutable Memtable，顾名思义，就是说这个Memtable的内容是不可更改的，只能读不能写入或者删除。新到来的数据被记入新的Log文件和Memtable，LevelDb后台调度会将

最低0.47元/天 解锁文章
eagle992018
关注
国产主流数据库调研
TiDB 社区干货传送门
12-10 1238
作者：来自广州的大侠 原文来源： https://tidb.net/blog/4a70bb91 ...
RocksDB简介
最新发布
weixin_45626756的博客
09-08 1221
SST数量越来越多，查询性能会越来越差，并且因为SST的不可变性，太多的更新操作会造成一定程度上的读放大效应，所以需要一个周期性的压缩操作来对LSM树进行压实，并且还可以通过Compaction来实现一些其他高级功能，比如TTL。memtable 和 immutable memtable 的数据结构是一样的，区别在于一个可写一个不可写，其中 levelDB 只支持一个 immutable memtable， RocksDB 在此基础上做了优化，支持多个，提高写入性能。合并的结果会替换掉参与合并的L2文件。
terarkdb:与RocksDB兼容的KV存储引擎，性能更高
03-10
0.什么是TerarkDB TerarkDB是RocksDB的替代品，具有优化的尾部延迟，吞吐量和压缩等功能。在大多数情况下，您可以将现有的RocksDB实例迁移到TerarkDB，而没有任何缺点。 笔记 TerarkDB仅在Linux平台下经过测试且可以生产 除C / C ++以外的语言绑定尚未经过全面测试。 可以将现有数据从RocksDB直接迁移到TerarkDB，但不能迁移回RocksDB。 TerarkDB是从RocksDB v5.18.3派生的。 绩效概述 RocksDB v6.12 服务器 英特尔:registered:至强:registered:金牌5218 CPU @ 2.30GHz（2插槽，32核64线程） 376 GB DRAM NVMe TLC固态硬盘（3.5 TB） 台式工具和工作量 使用db_bench 10个客户端线程，每个线程20GB请求 键= 24个字节，值= 2000个字节 heav
MySQL引擎——TokuDB与RocksDB
雪辉博客
12-13 2919
文章目录一、环境部署1.1 OS配置1.1.1 关闭防火墙1.1.2 关闭selinux1.1.3 关闭大页1.2 数据库部署1.3 启用tokudb和rocksdb二、引擎对比2.1 TokuDB2.2 RocksDB 一、环境部署 1.1 OS配置 1.1.1 关闭防火墙 systemctl stop firewalld.service #停止防火墙 systemctl disable firewalld.service #禁止开机启动 1.1.2 关闭selinux sed -i 's/SELINU
Rocksdb Flush
鲸鱼写程序的专栏
02-02 1006
启动的时候原生会加载数据到memtable然后flush ，下面文章做了简单优化 Rocksdb Secondary Instance启发与实践 - 知乎前言最近在做rocksdb的集群化改造，期间遇到了很多问题，也有很多的思考与感悟，这里希望与大家分享一下。 简单介绍RocksdbLevelDB是由Google开源的，基于LSM Tree的单机KV数据库，其特点是高效，代码简洁而优美。…https://zhuanlan.zhihu.com/p/147527659 TryInstallMe...
rocksdb的特性与应用
congchp的博客
03-27 2184
推荐一个零声学院免费公开课程，个人觉得老师讲得不错，分享给大家：Linux，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK等技术内容，立即学习 列族(column family) 列族相当于mysql中的table；多个列族共享一个WAL文件，但有独立的memtable和sst文件；WAL是预写日志，对rocksdb的写操作，都是记录WAL，之后才会写磁盘，当数据写入磁盘后，才会删除WAL中对
RocksDB及存储引擎基础
weixin_43763259的博客
04-27 369
RocksDB及存储引擎基础
Web3.0概念下的场景生态简析.pdf
04-14
Web3.0概念下的场景生态简析 Web3.0概念是指下一代互联网的发展方向，旨在解决用户与用户之间的信息互动、提升信息的传递效率、实现信息交互过程中的“可信”与“沉浸”。在当下，Web3.0概念受到关注的原因来自于现...
英国EYFS体系简析.pdf
03-30
英国的早期教育纲要（EYFS）是其政府为0至5岁儿童制定的一套全国性的教育标准，旨在提供连续、系统的学习和发展框架，确保孩子们在成长过程中得到最佳的教育体验。EYFS强调以孩子为中心，关注他们的全面发展，包括...
kvrocks:Kvrocks 是一个基于 RocksDB 的分布式键值 NoSQL 数据库，兼容 Redis 协议
08-03
Kvrocks 是一个开源的键值数据库，基于rocksdb，兼容Redis 协议。 与Redis相比，旨在降低内存成本并提高能力。 复制和存储的设计灵感来自rocksplicator和blackwidow 。 Kvrocks 具有以下主要功能： Redis协议，用户可以使用redis客户端访问kvrocks 命名空间，类似于 redis db，但每个命名空间使用令牌 复制，异步复制使用像 MySQL 这样的 binlog 高可用，支持redis sentinel在master或slave故障时进行failover 感谢设计师@和@范世丽为我们贡献了kvrocks logo。 谁使用 kvrocks 发出请求，让我们知道您正在使用 kvrocks 并将您的徽标添加到自述文件 建造 kvrocks 要求 g++（c++11 需要，版本 >= 4.8） autoconf autom
RocksDB与InnoDB数据库引擎比较
blissnmx的博客
06-09 1445
RocksDB和InnoDB是两种具有不同特点的数据库存储引擎。RocksDB具有高性能写入、可扩展性和压缩特性，适用于高写入负载、高并发和存储空间受限的场景；而InnoDB提供了事务支持、行级锁定和外键约束，适用于事务性应用、需要行级锁定和需要外键约束的场景。在选择存储引擎时，需要根据实际应用场景来权衡这两种引擎的优缺点。
RocksDB 概述
neuzhangno的博客
02-24 543
rocksdb简介
Rocksdb的优劣及应用场景分析
一缕阳光的博客
01-16 1145
Rocksdb的优劣及应用场景分析 Rocksdb也是一样，也有它的优势劣势及特定的适用场景。今天我就从设计的角度来分析一下。 基础架构 上图就是Rocksdb的基础架构。Rocksdb中引入了ColumnFamily(列族, CF)的概念，所谓列族也就是一系列kv组成的数据集。所有的读写操作都需要先指定列族。写操作先写WAL，再写memtable，memtable...
rocks_db笔记_编译_flush落盘_put_write_测试
ssbandjl的博客
11-10 172
【代码】rocks_db笔记_编译_flush落盘_put_write_测试。
分布式专题 - Rocksdb
liqingbing12的专栏
11-06 1989
1.RocksDB 简介 RocksDB 是由 Facebook 基于 LevelDB 开发的一款提供键值存储与读写功能的数据库软件，旨在充分实现快存上存储数据的服务能力。 RocksDB是一个c++库，可以用来存储keys和values，且keys和values可以是任意的字节流，支持原子的读和写； RocksDB是一个基于LSM-Tree 存储引擎实现的数据库架构，LSM 通过 将磁盘的随机写转化为顺序写来提高写性能，而付出的代价就是牺牲部分读性能 、 写放大； RocksDB 所有的数据在引.
RocksDB系列二十二:RocksDB使用场景和特性
weixin_30773135的博客
04-18 444
转载于:https://www.cnblogs.com/JBLi/p/10731967.html
RocksDB：memtable flush流程详解
easonwx的博客
08-09 1324
本文介绍RocksDB memtable flush相关机制。
搜索引擎实现原理与分词技术解析
"本文主要介绍了搜索引擎的工作原理，包括搜索引擎如何改变获取信息的方式，倒排索引的概念，以及分词技术在搜索引擎中的应用。同时提到了Java在实现搜索引擎中的作用，并简单提及了Lucene这一信息检索库。" 搜索...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值