高性能Key/Value存储引擎levelDB, rocksDB, TiDB,InnoDB

分布式存储对比：LevelDB, RocksDB, TiDB与InnoDB解析
最新推荐文章于 2025-11-09 23:51:42 发布
原创 最新推荐文章于 2025-11-09 23:51:42 发布 · 1.5w 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了InnoDB存储引擎的构成，包括共享表空间、日志文件组和独立的表数据文件，并讨论了当innodb_file_per_table开启时的表结构。接着，深入探讨了TiDB的分布式存储架构，由TiKV和Placement Driver (PD) server组成。TiKV使用RocksDB实例分布存储数据，通过Region和Raft协议保证数据一致性，而PD服务器负责元数据管理、Region调度和全局事务ID分配。
高性能存储引擎levelDB, rocksDB,TiDB, InnoDB


1.   简单介绍
1.1  LevelDB
     LevelDB是Google开源的持久化KV单机数据库，具有很高的随机写，顺序读/写性能，但是随机读的性能很一般，也就是说，LevelDB很适合应用在查询较少，而写很多的场景。LevelDB应用了LSM (Log Structured Merge) 策略，lsm_tree对索引变更进行延迟及批量处理，并通过一种类似于归并排序的方式高效地将更新迁移到磁盘，降低索引插入开销。

最低0.47元/天 解锁文章
【数据库系统】RocksDB 极简教程
AI天才研究院
03-15 2万+
LevelDB 是一个google实现的非常高效的kv数据库，是典型的LSM-tree的实现。leveldb是一个写性能十分优秀的存储引擎，是典型的LSM树(Log Structured-Merge Tree)实现。LSM树的核心思想就是放弃部分读的性能，换取最大的写入能力。LSM树写性能极高的原理，简单地来说就是尽量减少随机写的次数。对于每次写入操作，并不是直接将最新的数据驻留在磁盘中，而是将其拆分成：（1）一次日志文件的顺序写（2）一次内存中的数据插入。
蔚来汽车：拥抱TiDB，实现数据库性能与稳定性的飞跃
TiDB 社区干货传送门
07-09 1227
作者： Billdi表弟 原文来源： https://tidb.net/blog/449c3f5b ...
levelDB rocksDB InnoDB存储引擎
ChengChengCheng的博客
02-21 725
http://tech.uc.cn/?p=2592 https://blog.csdn.net/chdhust/article/details/51817754 http://techshow.ctrip.com/archives/677.html
KV型数据存储引擎Leveldb／lmdb／comdb /rocksdb
weixin_33816300的博客
01-09 1548
2019独角兽企业重金招聘Python工程师标准>>> ...
深入浅出 RocksDB_键值存储引擎实战解析
最新发布
九天的专栏
11-09 930
RocksDB 是一个高性能的嵌入式键值存储引擎，基于 Facebook 开源的 LevelDB 进行了大量的改进和优化。它专门为快速存储环境（如闪存和内存）设计，提供了优秀的读写性能和高效的存储空间利用率。 作为一个嵌入式的数据库，RocksDB 以内存映射文件的方式直接在应用程序进程中运行，避免了传统客户端-服务器架构的网络传输开销。其核心特性包括：
keydb:用 Go 编写的高性能键值数据库
05-30
密钥数据库 用 Go 编写的高性能键值数据库 批量插入和顺序读取<1微秒 基于磁盘的记录的随机访问读取 < 4 微秒 使用 LSM 树，请参阅 最大 1024 字节键的限制，以允许高效的磁盘索引搜索，但具有压缩键，允许在同一表中非常有效地存储时间序列数据（市场报价数据） 使用 dbdump 和 dbload 实用程序将数据库保存/恢复到单个文件，但仅压缩目录也可以... 请参阅相关的 ，它允许远程访问 keydb 实例，并允许多个进程共享一个 keydb 数据库 待办事项 使一些设置可配置 清除删除的键/值，它当前存储一个空的 [] 字节 如何使用 db, err := keydb.Open("test/mydb", true) if err != nil { t.Fatal("unable to create database", err) } tx, err := db.Be
RocksDB与InnoDB数据库引擎比较
blissnmx的博客
06-09 2037
RocksDB和InnoDB是两种具有不同特点的数据库存储引擎。RocksDB具有高性能写入、可扩展性和压缩特性，适用于高写入负载、高并发和存储空间受限的场景；而InnoDB提供了事务支持、行级锁定和外键约束，适用于事务性应用、需要行级锁定和需要外键约束的场景。在选择存储引擎时，需要根据实际应用场景来权衡这两种引擎的优缺点。
nutsdb与mysql_NutsDB: NutsDB是纯Go语言编写一个简单、高性能、内嵌型、持久化的key-value数据库...
weixin_42398386的博客
02-05 382
NutsDB NutsDB是纯Go语言编写一个简单、高性能、内嵌型、持久化的key-value数据库。NutsDB支持事务，从v0.2.0之后的版本开始支持ACID的特性，建议使用最新的release版本。v0.2.0之前的版本，保持高性能，没有作sync，但是具备高性能的写(本地测试，百万数据写入达40~50W+/s)。所有的操作都在事务中执行。NutsDB从v0.2.0版本开始支持...
RocksDB 详解
gorgor在码农
07-26 1157
RocksDB是由Facebook基于Google LevelDB开发的高性能KV存储引擎，采用LSM-Tree结构，具有出色的读写性能（随机读取峰值19万次/秒）。虽然不直接用于业务系统，但已成为CockroachDB、TiDB、MongoDB等数据库的底层存储引擎。其核心设计包括MemTable、WAL日志和多层SST文件，通过Compaction策略实现数据分层存储。文章提供了Java操作示例，展示了基本CRUD功能，并对比了RocksDB与其他存储引擎的性能优势。RocksDB凭借高性能和事务支持能
对于RocksDB和LSM Tree的一些理解，以及TiDB、TDSQL架构初识
m0_75081815的博客
01-25 1388
- HBase、LevelDB，rocksDB（是一个引擎）底层的数据结构是LSM Tree - 适合写多读少的场景，都是追加写入内存中的MemTable，写入一条删除（或修改）标记，而不用去访问实际的数据，从而大大提高写的速度 - 追加顺序写（innodb的页是随机的） - sst和memTable有序是为了compact，范围查询，key 的有序性可以让我们对sst其进行增量编码、indexblock的页目录
mysql+舒适化_将MySQL去重操作优化到极致之三弹连发（三）：用rocksdb替代innodb
weixin_39704971的博客
02-02 355
前面已经建立了索引，优化了SQL语句，并将单线程变为多线程并行执行，去重时间由最初的35秒优化为3.5秒，是不是就到此为止呢？吴老师又使用了rocksdb存储引擎替代innodb的方法。这里有必要交代一下命题的背景。这道MySQL数据库优化的题目出自是阿里内部的竞赛题，当然我是听吴老师口述的，真正的题目及其竞赛规则与竞赛环境不甚明确，但有一条是允许自由选择MySQL存储引擎。在实际的生产环境中，几...
将 MySQL 去重操作优化到极致之三弹连发（三）：用 rocksdb 替代 innodb
wzy0623的专栏
01-12 6784
MyRocks 简介、安装配置 MyRocks、启动 MyRocks、在 MyRocks 上进行去重测试
rocksdb性能mysql_将MySQL去重操作优化到极致之三弹连发（三）：用rocksdb替代innodb...
weixin_42510717的博客
02-04 603
前面已经建立了索引，优化了SQL语句，并将单线程变为多线程并行执行，去重时间由最初的35秒优化为3.5秒，是不是就到此为止呢？吴老师又使用了rocksdb存储引擎替代innodb的方法。这里有必要交代一下命题的背景。这道MySQL数据库优化的题目出自是阿里内部的竞赛题，当然我是听吴老师口述的，真正的题目及其竞赛规则与竞赛环境不甚明确，但有一条是允许自由选择MySQL存储引擎。在实际的生产环境中，几...
来自Riak的LevelDB与InnoDB性能对比测试
weixin_34367257的博客
10-09 410
Riak默认采用的是Bitcask的数据引擎，Bitcask能够提供高效，高可用的，防崩溃的数据存储。但是它有一个弱点，就是其内存消耗与存储的数据数量成正比（尽管比例系数比较小）。也就是说如果你使用Bitcask引擎来存储大量小体积的数据，可能会比较浪费空间。 而Riak实时了同时提供了Innostore作为InnoDB引擎的封装，以提供对大量小体积数据...
高性能key-value数据库nessDB介绍
RyanFatCat的专栏
11-19 955
nessDB是一个小巧、高性能、可嵌入式的key/value存储引擎，使用标准C开发，支持Linux, *BSD, OS X and Solaris等系统，无第三方库依赖。本文来自nessDB作者@BohuTANG 的投稿分享，推荐给大家。 同时nessDB还提供一个服务端，支持Redis的 PING, SET, MSET, GET, MGET, DEL, EXISTS, INFO,
rocksDB vs InnoDB vsTokuDB
weixin_30267697的博客
08-26 437
原文地址 https://minervadb.com/index.php/2018/08/06/comparing-tokudb-rocksdb-and-innodb-performance-on-intelr-xeonr-gold-6140-cpu/ 该文测试的环境如下 CPU details (Intel(R) Xeon(R) Gold 6140 CPU @ 2.30GHz with 7...
分布式专题——详解Google levelDB底层原理
TechFlow的博客
03-28 787
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是分布式专题的第10篇文章，我们继续来聊聊LSMT这个数据结构。 LSMT是一个在分布式系统当中应用非常广泛，并且原理直观简单的数据结构。在上一篇文章当中我们进行了详细的讨论，有所遗忘或者是新关注的同学可以点击下方的链接回顾一下上一讲的内容。 分布式——吞吐量巨强、Hbase的承载者 LSMT leveldb简介 上一篇的内容我们介...
TiDB底层存储LevelDB介绍
sinat_28694519的博客
12-11 775
本文从LevelDB的架构出发，简要剖析了LevelDB的组成和读写机制。LevelDB是典型的基于LSM-Tree（log structured merge tree）的系统，其源码行数不多，但是它小而精，功能强悍，很多组件把它作为底层的文件存储系统，如RocksDB。LevelDB作为一款用于写多读少场景的K-V存储系统，其优秀的系统设计，值得我们学习。
rocksdb、tokudb、innodb引擎性能测试
Du.的博客
03-29 1275
1、双主一从测试环境搭建 主机名 ip 角色 cpu/内存 master1 172.16.84.150 主 2c/4G master2 172.16.84.151 主 2c/4G slave 172.16.84.152
LevelDB JNI Java接口实现高效Key/Value存储
LevelDBJNI.zip 文件所涉及的知识点主要围绕 Google 开发的高性能键值存储系统 LevelDB，以及通过 JNI（Java Native Interface）技术将其功能封装为 Java 可调用接口的技术实现。该压缩包中的内容表明这是一个开源...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值