BoltDB,RocksDB,PebbleDB,BadgerDb简介及测评

最新推荐文章于 2024-04-30 23:32:15 发布
最新推荐文章于 2024-04-30 23:32:15 发布
阅读量6.2k 收藏 12
点赞数 5
分类专栏： KV数据库 文章标签： 分布式 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huxinglixing/article/details/116156322
版权

几个常用数据库性能分析

​ 最近公司需要选型一款单机KV数据库来做业务承载，所以我对比了目前市面上比较流行的几个KV数据库并记录下来，包括boltdb,rocksdb,pebbledb,badgerdb四款，我将简单分析一下各数据库的特点，最后用自己的简单测试程序跑一下各数据库。对比一下性能差异

boltdb

github地址：https://github.com/boltdb/bolt Star:11.7k Fork:1.5K

最后 Merge pull request 时间是2018年3月，很久没有维护了。

代码量：

在这里插入图片描述
特点

  • 直接使用API存取数据，没有查询语句；
  • 支持完全可序列化的ACID事务，这个特性比LevelDB强；
  • 数据保存在内存映射的文件里。没有wal、线程压缩和垃圾回收；
  • 通过COW技术，可实现无锁的读写并发，但是无法实现无锁的写
  • 写并发，这就注定了读性能超高，但写性能一般，适合与读多写少的场景

与其他数据对比

LevelDB，RocksDB

LevelDB及其派生类（RocksDB，HyperLevelDB）与Bolt类似，因为它们是捆绑到应用程序中的库，但是它们的底层结构是日志结构的合并树（LSM树）。LSM树通过使用预写日志和称为SSTables的多层排序文件来优化随机写入。Bolt在内部使用B +树，并且仅使用一个文件。两种方法都需要权衡。 如果您需要较高的随机写入吞吐量（> 10,000 w / sec），或者需要使用旋转磁盘，那么LevelDB可能是一个不错的选择。如果您的应用程序是大量读取或进行大量范围扫描，那么Bolt可能是一个不错的选择。 另一个重要的考虑因素是LevelDB没有事务。它支持键/值对的批量写入，并且支持读取快照，但不能使您安全地执行比较和交换操作。Bolt支持完全可序列化的ACID事务。

LMDB

Bolt最初是LMDB的端口，因此在架构上相似。两者都使用B +树，具有ACID语义和完全可序列化的事务，并支持使用单个写入器和多个读取器的无锁MVCC。 这两个项目有些分歧。LMDB专注于原始性能，而Bolt专注于简单性和易用性。例如，出于性能考虑，LMDB允许执行几种不安全的操作，例如直接写入。Bolt选择禁止可能使数据库处于损坏状态的操作。Bolt唯一的例外是DB.NoSync。 API也有一些区别。打开LMDB时需要最大的mmap大小，mdb_env而Bolt会自动处理增量mmap的大小。LMDB使用多个标志来重载getter和setter函数，而Bolt将这些特殊情况拆分为自己的函数。

注意事项和局限性

选择合适的工具来完成这项工作很重要，而Bolt也不例外。在评估和使用Bolt时，需要注意以下几点：

  • Bolt非常适合读取密集型工作负载。顺序写入性能也很快，但是随机写入可能会很慢。您可以使用DB.Batch()或添加预写日志来帮助缓解此问题。
  • Bolt在内部使用B + tree，因此可以有很多随机页面访问。与旋转磁盘相比，SSD可以显着提高性能。
  • 尝试避免长时间运行的读取事务。Bolt使用写时复制功能，因此在旧事务使用旧页时无法回收这些旧页。
  • 从Bolt返回的字节片仅在事务期间有效。一旦事务被提交或回滚，它们所指向的内存就可以被新页面重用，或者可以从虚拟内存中取消映射，unexpected fault address访问时会出现恐慌。
  • Bolt在数据库文件上使用排他写锁定，因此不能被多个进程共享。
  • 使用时要小心Bucket.FillPercent。为具有随机插入的存储桶设置较高的填充百分比将导致数据库的页面利用率非常差。
  • 通常使用较大的水桶。较小的存储桶一旦超过页面大小（通常为4KB），就会导致页面利用率下降。
  • 批量加载大量随机写入新的存储桶可能很慢，因为在提交事务之前页面不会拆分。建议不要在单个事务中将100,000个以上的键/值对随机插入到一个新的存储桶中。
  • Bolt使用内存映射文件，因此底层操作系统可以处理数据的缓存。通常，操作系统将在内存中缓存尽可能多的文件，并根据需要将内存释放给其他进程。这意味着在使用大型数据库时，Bolt可能会显示很高的内存使用率。但是，这是预料之中的，操作系统将根据需要释放内存。只要Bolt的内存映射适合进程虚拟地址空间，它就可以处理比可用物理RAM大得多的数据库。在32位系统上可能会出现问题。
  • Bolt数据库中的数据结构是内存映射的，因此数据文件将是特定于字节序的。这意味着您无法将Bolt文件从小字节序计算机复制到大字节序计算机并使其正常工作。对于大多数用户而言，这不是问题，因为大多数现代CPU的字节序都很少。
  • 由于页面在磁盘上的布局方式，Bolt无法截断数据文件并将可用页面返回到磁盘。取而代之的是，Bolt会在其数据文件中维护未使用页面的空闲列表。这些空闲页面可以被以后的事务重用。由于数据库通常会增长，因此这在许多用例中效果很好。但是，请务必注意，删除大块数据将不允许您回收磁盘上的该空间。

RocksDB

github地址：https://github.com/facebook/rocksdb/ Star:16.9K Fork:4.4K

C++编写，现在还在维护

代码量：
在这里插入图片描述

特点

​ RocksDB最初的设计理念就是其应该在高速存储设备以及服务器压力下能有很好的性能表现。他应该能榨取Flash或者RAM子系统提供的所有读写速度潜能。他应该能支持高速的点查询和区间查询。可以通过配置支持很高的随机查询负荷，很高的更新负荷或者两者兼有。其架构应能很简单地对读放大，写放大和存储空间放大进行调优。go程序使用需要用到包装库gorocksdb

​ RocksDB文档很齐全，可以看官方文档介绍

PebbleDB

github地址：https://github.com/cockroachdb/pebble Star:1.9K Fork:124

纯go编写，现在还在维护

该项目是由cockroach工作室进行维护，pebbledb基础是levelsdb,然后把rocksdb的部分功能用go移植并对某些功能进行优化。

代码量

在这里插入图片描述

特点

​ 此db可以堪称rocksdb的go语言版本，但只实现了rocksdb的部分功能，也增加了一些rocksdb没有的功能和优化，可以看下github上的项目介绍。

BadgerDB

github地址：https://github.com/dgraph-io/badger Star:9.1K Fork:756

纯go编写，现在还在维护

下面是作者对此的介绍

Badger was written with these design goals in mind:

  • Write a key-value database in pure Go.
  • Use latest research to build the fastest KV database for data sets spanning terabytes.
  • Optimize for SSDs.

Badger’s design is based on a paper titled WiscKey: Separating Keys from Values in SSD-conscious Storage.

代码量
在这里插入图片描述

特点：

​ badgerdb对key,value进行了分别的处理，只把key存到了lms结构，value是用的Log文件进行处理，适合key小value大的情况。

Badgerdb官网提供了一个功能对比

FeatureBadgerRocksDBBoltDB
DesignLSM tree with value logLSM tree onlyB+ tree
High Read throughputYesNoYes
High Write throughputYesYesNo
Designed for SSDsYes (with latest research 1)Not specifically 2No
EmbeddableYesYesYes
Sorted KV accessYesYesYes
Pure Go (no Cgo)YesNoYes
TransactionsYes, ACID, concurrent with SSI3Yes (but non-ACID)Yes, ACID
SnapshotsYesYesYes
TTL supportYesYesNo
3D access (key-value-version)Yes4NoNo

数据测试

测试代码地址为：https://github.com/huxinhuxin/kvtest

测试说明：

设定假如设定N次（启动参数-a决定，默认为1000），将会依次执行后续操作：

  1. 顺序N次写
  2. 随机读N次
  3. 随机删N次
  4. 随机写N次
  5. 遍历所有Key

KV全都是默认配置，现在都是单线程运行,sync属性都设置为true

N=10000

顺序写随机读随机删随机写遍历key总耗时
Boltdb2.498 s39.848 ms2.713 s2.881 s917.552µs8.137 s
pebbledb1.142 s56.418 ms711.88 ms815.38ms34.94 ms2.763 s
badgerdb2.833 s39.154 ms1.038 s2.880 s14.114 ms6.829 s
Rocksdb1.501 s59.55 ms39.86 ms1.561 s60 ms3.23 s

磁盘占用：

Boltdb 59M pebbled 80M badgerdb 80M

N=100000

顺序写随机读随机删随机写遍历key总耗时
Boltdb26.459 s527.01 ms1m29.48 s1m29.35 s7.337 ms3m25.84 s
pebbledb7.7904 s691.34 ms6.553 s8.202 s420.94 ms23.705 s
badgerdb27.361 s443.42 ms10.182 s28.262 s98.491 ms1m6.51 s
Rocksdb15.93 s1.63 s396.42 ms16.21 s739.81 ms34.92 s

磁盘占用：

Boltdb 591M pebbled 392M badgerdb 793M Rocksdb 380M

如果sync设置为false的话就可以快很对，但可能会掉数据，应为不是及时写盘，下面给出sync设置为false的情况，但仅供参考，生产环境暂时不考虑这个参数。

N=100000

顺序写随机读随机删随机写遍历key总耗时
Boltdb4.847 s489.82 ms50.370 s48.122 s7.030 ms1m43.85 s
pebbledb1.517 s687.61 ms147.55 ms6.175 s293.21 ms8.84 s
badgerdb1.880 s428.59 ms1.253 s2.151 s100.30 ms6.521 s
Rocksdb1.74 s1.59 s416.88 s1.479 s1.514 s6.805s

总结

BoltDBRocksDBPebbleDBBadgerDB
存储结构B+TREELSM-TREELSM-TREEKey是lms
读速度最快快快快
写速度较慢快最快快
存储文件数量1个多个多个几个
代码量（包含测试代码）万行0.929272.8
是否还在维护否是是是
成熟度（使用的项目）高高少，但基于PebbleDB的CockroachDB使用还是挺多的高
文档是否齐全一般最多最少较多
  • boltdb适合读比重较大的项目
  • badgerdb适合key小但value比较大的项目
  • rocksdb和pebbledb适合对写性能要求比较高的项目，c++程序用rocksdb，golang的话用pebbledb比较合适，当然rocksdb有部分功能pebble没有实现，所以需要先搞清楚项目需求
huxinglixing
关注
  • 5
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
pebble:RocksDBLevelDB 启发了 Go 中的键值数据库
07-23
卵石 Pebble 是一个受 LevelDB/RocksDB 启发的键值存储，专注于 CockroachDB 的性能和内部使用。 Pebble 继承了 RocksDB 文件格式和一些扩展，例如范围删除墓碑、表级布隆过滤器和对 MANIFEST 格式的更新。 Pebble 有意不希望在 RocksDB 中包含所有功能，而是专门针对 CockroachDB 所需的用例和功能集： 基于块的表 检查点 索引批次 迭代器选项（下限/上限、表过滤器） 基于级别的压缩 手动压实 合并运算符 前缀布隆过滤器 前缀迭代 范围删除墓碑 反向迭代 SSTable 摄取 单个删除 快照 表级布隆过滤器 RocksDB 有大量 Pebble 没有实现的特性： 备份 列族 删除范围内的文件 先进先出压缩风格 前向迭代器/尾随迭代器 哈希表格式 内存布隆过滤器 持久缓存 固定迭代器键/值 普通表格格式 SSTa
badgerhold:BadgerHold是可嵌入的NoSQL存储，用于查询基于Badger构建的Go类型
04-29
ger抱 BadgerHold是实例之上的简单查询和索引层。 目标是在Badger DB的顶部创建一个简单的更高级别的界面，以简化Go类型和查找数据的处理，但暴露基础Badger DB以便根据需要进行自定义。 默认情况下，使用的编码是Gob，因此可以随时使用GobEncoder / Decoder接口进行更快的序列化。 或者，您也可以通过向Open的Options结构提供编码/解码功能来使用所需的任何序列化。 一个Go Type将以其类型名称作为前缀，因此您可以将多个类型存在冲突的单个Badger数据库中存储。 该项目是对Badger KV数据库而不是的项目的重写。 有关bolt和badge的性能比较，请参阅 。 我已经写了我自己的两个重点不是性能在这里等特点的比较： 。 指标 索引使您可以跳过检查不符合索引条件的所有记录。 如果您有1000条记录，而其中只有10条要处理的部门，那
Pebble是受LevelDB / RocksDB启发的键值存储，专注于CockroachDB的性能和内部使用。-Golang开发
05-26
Pebble是受LevelDB / RocksDB启发的键值存储，专注于CockroachDB的性能和内部使用。 Pebble继承了RocksDB文件格式和一些扩展名，例如范围删除逻辑删除，表级bloom过滤器以及对MANIFEST格式的更新。 Pebble Nightly基准测试Pebble是受LevelDB / RocksDB启发的键值存储，专注于CockroachDB的性能和内部使用。 Pebble继承了RocksDB文件格式和一些扩展名，例如范围删除逻辑删除，表级bloom过滤器以及对MANIFEST格式的更新。 Pebble有意不希望在RocksDB中包含所有功能，而是专门针对CockroachDB所需的用例和功能集：基于块的表Checkpoints索引了ba
基于blevesearch和Go构建的独立轻量级全文本搜索引擎，具有多个存储（scorch，boltdb，leveldb 、,）-Golang开发
05-26
SRCHX一个独立的轻量级全文本搜索引擎，基于blevesearch和Go构建，具有多个存储（scorch，boltdb，leveldb，badgerdb），具有Standanlone功能。 轻快。 利用完整的SRCHX一个独立的轻量级全文本搜索引擎，基于blevesearch和Go构建，具有多个存储（scorch，boltdb，leveldb，badgerdb）。具有Standanlone功能。 轻快。 借助Go运行时，可利用完整的CPU内核。 可插拔存储引擎，badgerdb（纯Go Rocksdb替代品），boltdb，leveldb，scorch。 简单整洁的RESTful API。 动态索引创建，您无需创建索引，只需将数据发布到索引端点即可。 您可以在以下位置搜索您的文件
cete：Cete是在BadgerDB之上构建的用Go编写的分布式键值存储服务器
02-05
塞特 Cete是一个用编写的分布式键值存储服务器，建立在基础上。 它通过 （ + ）或传统的 API（ + ）提供功能。 Cete通过实现。 它在节点的所有实例之间达成共识，从而确保对系统所做的每个更改都是针对一定数量的节点进行的，或者根本不进行。 Cete使创建BadgerDB（badge的cete）集群变得容易。 产品特点 易于部署 培育集群 数据库复制 易于使用的HTTP API CLI也可用 Docker容器映像可用 建筑物Cete 当您满足依赖关系时，让我们如下构建Linux的Cete： $ mkdir -p ${GOPATH} /src/github.com/mosu
BadgerDB 原理及分布式数据库的中应用与优化
KaiwuDB 数据库
05-09 968
Part 1 - BadgerDB设计架构 Badger[1]是基于论文：WiscKey: Separating Keys from Values inSSD-conscious Storage[2]的思想利用Go语言进行设计实现的。 LSM-Tree的优势在于将随机写转换为顺序写，将大块的内存连续地写入到磁盘，减少磁盘寻址的时间，同时数据是按照key排序，查找起来速度快，同时也带来了写、读放大。LSM-Tree的这些优化很适用HDD，但是SSD的性能却受到限制（写放大）。因...
同样是1亿数据，为什么nutsdb扛不住，而badgerdb可以？
专注做分享
12-18 957
这篇文章将讲述为什么同样是1亿数据，Hash索引的代表Nutsdb扛不住了，而LSM的代表badgerdb却可以？
badgerdb里面的事务
weixin_40405692的博客
08-17 1003
创建一个事务的时候，要进行授时txn.readTs = db.orc.readTs()，这个时间是一个递增的序列，接下来主要来分析一下db.orc.readTs()这个函数，获得readTs后会等待readTs这个时间戳提交的事务彻底写入LSM tree后才返回，保证了不会。但如上图，如果事务 t2 在执行时，多次读某个记录 x 的状态，在事务 t1 未启动前，发现 x = 2，在事务 t1 提交后，发现 x = 3，这便出现了不一致。多个事务执行时，不能受并发的事务的影响，后面会详细的说隔离级别。
badgerdb 压缩合并
weixin_40405692的博客
08-24 227
同一层的同一个table只能是一个压缩协程占用。第0层的table表和table之间的排列不是按照sst的范围来排的，只是按照写入的时间顺序来排，非0层table表之间按照sst的范围来排，非0层选择待压缩的table就直接从第0个开始，即写入时间最旧的，如果和下一个table表有交集就也需要加入，下一个table表的范围没有交集就退出。先按提交的时间把合并层的tbale表排序，提交时间早的优先被挑选到，挑选出来的table有最大和最小的key，在待合并的下一层找到和这个范围有交集的table表。
Pebble 介绍：由 RocksDB 启发，用 Go 编写的 K/V 存储
Go中国
10-09 1279
土拨鼠导读：自 CockroachDB 成立以来，一直使用 RocksDB 作为其键值存储引擎。我们选择 RocksDB 是因为其非常符合我们的需求。RocksDB 经过了我们严格的测试...
2011软件评测师考试真题及答案解析
03-11
2011软考软件评测师考试真题及答案解析
软件测评师教程及历年真题解析
06-13
包含软考指定软件测评师参考教程及历年真题+解析
2013软件评测师考试真题及答案解析
03-11
2013软考软件评测师考试真题及答案解析
KPMG网测-SHL测评-数字题答案及详解
09-10
KPMG网测-SHL测评-数字题答案及详解 KPMG网测-SHL测评-数字题答案及详解 KPMG网测-SHL测评-数字题答案及详解 KPMG网测-SHL测评-数字题答案及详解
数据库管理-第179期 分库分表vs分布式（20240430
yhw1809的博客
04-30 579
本期简单讲了下分库分表和分布式的一些异同，也扩展了一下自己对分布式数据库的一些期望。
OPC UA与IEC61499 在分布式智能电网中的应用
姚家湾博客
04-30 217
数据采集，剩余电量估计，从放电控制，安全，热管理等等。在电动车辆中，BMC 与车辆控制器连接。通常使用CAN Bus 总线。在储能设备中，与智能电网控制器连接（CAN Bus 或者ModebusTCP）。储能设备中的电池芯包与电池均衡系统构成电池模组，国内的电池芯包通常使用被动均衡技术，被动均衡芯片通常通过SPI 接口连接到CMC 控制器，CMC 以单片机为主构建，具有RS485/CAN BUS 连接到电池管理控制器。智能电网控制器与SCADA 服务器连接，使用的通信协议IEC61850 协议。
debian配置distcc分布式编译
随手写下笔记和感悟
04-24 483
distcc 是一个用于在网络上的多台机器上分发 C、C++、Objective C 或 Objective C++ 代码构建的程序。distcc 应始终生成与本地构建相同的结果，易于安装和使用，并且通常比本地编译快得多。distcc 不要求所有机器共享文件系统、同步时钟或安装相同的库或头文件。如果安装了交叉编译器，它们甚至可以具有不同的处理器或操作系统。它甚至不要求远程主机安装额外类库。
pytest-xdist：远程多主机 - 分布式运行自动化测试
we chat：玩转测试开发
04-26 791
需要特别注意的是rsync功能被弃用，因为它的实现在远程工作者中再现开发环境方面存在缺陷，而且没有明确的解决方案。出于这个原因，rsync计划在4.0版中删除，让团队专注于一组较小的功能。请注意，SSH和套接字服务器不是计划删除的，因为它们是execnet功能集的一部分。：pytest-xdist插件使用新的测试执行模式扩展了pytest，最常用的是在多个CPU之间分发测试以加快测试执行，即。：在远程服务器端会生成一份相应的项目数据，因为我们使用的是 ./ 即 把当前项目远程拷贝到目标服务器执行。
ES集群分布式查询原理
最新发布
weixin_53676834的博客
04-30 230
当新增文档时，应该保存到不同分片，保证数据均衡，那么coordinating node如何确定数据该存储到哪个分片呢？2）对id做hash运算，假如得到的是2，则应该存储到shard-2。3）shard-2的主分片在node3节点，将数据路由到node3。5）同步给shard-2的副本replica-2，在node2节点。6）返回结果给coordinating-node节点。1）新增一个id=1的文档。
软件评测师真题及答案csdn
07-27
软件评测师是一种专门负责测试和评估软件性能和质量的职业。针对该职位的真题及答案，我认为可以从以下几个方面来回答。 1. 软件测试基础知识：一些基本的软件测试知识是软件评测师必备的技能。例如，了解软件测试的目的、原则和方法，熟悉测试用例的编写和执行，了解常见的测试工具和技术等。 2. 软件质量评估：软件评测师需要具备对软件质量进行评估的能力。这包括对软件的功能、性能、稳定性、易用性等方面进行综合评估，并提出相应的改进建议。 3. 测试策略和方法：软件评测师需要制定和执行有效的测试策略和方法。例如，了解不同的测试类型（如功能测试、性能测试、安全测试等），根据软件特点和需求选择合适的测试方法，合理安排测试时间和资源等。 4. 编写评测报告：软件评测师需要编写详细的评测报告，将测试结果、问题和建议清晰地呈现给相关人员。评测报告应该准确地描述测试过程和结果，提供给开发团队和管理层作为决策依据。 5. 沟通和协作能力：软件评测师需要与开发人员、产品经理等不同的团队成员进行有效的沟通与协作。及时反馈测试结果，共同解决问题，确保软件质量的提升。 总结来说，软件评测师需要具备扎实的软件测试基础知识、评估软件质量的能力，熟悉测试策略和方法，并具备良好的沟通和协作能力。这些都是软件评测师应该具备的技能和素质，也是他们能够胜任工作的基础。软件评测师真题和答案可以通过学习和实践来掌握，并不断提升自己的专业能力和水平。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

huxinglixing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值