LevelDB和ForestDB简单性能测试(含代码)

最新推荐文章于 2024-09-05 08:32:11 发布
最新推荐文章于 2024-09-05 08:32:11 发布
阅读量672 收藏
点赞数
分类专栏： 监控

测试环境简单说明

Windows下测试

硬件环境如下：
处理器：Intel(R) Core(TM) i5-4460 CPU @ 3.20GHz
内 存：8GB
硬 盘：希捷 ST1000DM003
操作系统：Windows 10 企业版
编译说明：
两个都是使用VS2015编译的64位Release版本。运行时库采用动态多线程版本(MD)

Linux下测试

硬件环境如下：
处理器：Intel(R) Core(TM) i7-4500U CPU @ 1.80GHz
内 存：8GB
硬 盘：金士顿64G SSD
操作系统：ArchLinux (Linux version 4.8.13-1-ARCH)
编译说明：
两个都是使用Gcc 6.2.1编译的x64版本，使用-O2参数优化。

测试结果

对LevelDB和ForestDB进行简单的性能测试。
两个都在单线程下进行10000次的增删查改测试，共测试5次。（这里测试的次数有点少，应该测试十万次以上的）
测试的时候可以发现（设置断点），Forest每次操作都将数据缓存在内存了，内存占用比较大。而LevelDB在添加的时候并没有缓存，但是在数据获取和修改的时候内存会变大。
总体上LevelDB占用内存小一点，但是linux下速度不及ForestDB(非常接近)。易用程度上，LevelB简单得多。磁盘占用的情况的话，Forest对磁盘使用比较少，这10000条数据占了13MB左右，而LevelDB则占了120MB左右。

Windows下测试结果

测试结果平均值对比直方图：
测试结果对比直方图

LevelDB 测试结果截图
LevelDB 测试结果截图

ForestDB 测试结果截图
ForestDB 测试结果截图

Linux下测试结果

测试结果平均值对比直方图：
测试结果对比直方图

LevelDB 测试结果截图
LevelDB 测试结果截图

ForestDB 测试结果截图
ForestDB 测试结果截图

测试代码

LevelDB测试代码

#include <cassert>  
#include <string>  
#include <iostream>
#include <chrono>

#include "leveldb/db.h"  

#define TEST_FREQUENCY  (10000)

char* randomstr()
{
    static char buf[1024];
    int len = rand() % 768 + 255;
    for (int i = 0; i < len; ++i) {
        buf[i] = 'A' + rand() % 26;
    }
    buf[len] = '\0';
    return buf;
}

int main() 
{
    leveldb::DB* db;
    leveldb::Options options;
    options.create_if_missing = true;

    // 打开数据库
    leveldb::Status status = leveldb::DB::Open(options, "./testdb", &db);
    assert(status.ok());

    srand(2017);
    std::string k[TEST_FREQUENCY];
    for (int i = 0; i < TEST_FREQUENCY; ++i) {
        k[i] = (randomstr());
    }
    std::string v("壹贰叁肆伍陆柒捌玖拾");
    v.append(v).append(v).append(v).append(v).append(v);

    // 测试添加
    {
        auto start = std::chrono::system_clock::now();
        for (int i = 0; i < TEST_FREQUENCY; ++i) {
            status = db->Put(leveldb::WriteOptions(), k[i], v);
            assert(status.ok());
        }
        auto end = std::chrono::system_clock::now();
        auto duration = std::chrono::duration_cast<std::chrono::microseconds>(end - start);

        std::cout << TEST_FREQUENCY <<"次添加耗时: "
            << double(duration.count()) * std::chrono::microseconds::period::num / std::chrono::microseconds::period::den
            << "秒" << std::endl;
    }
    // 测试获取
    {
        auto start = std::chrono::system_clock::now();
        std::string v2[TEST_FREQUENCY];
        for (int i = 0; i < TEST_FREQUENCY; ++i) {
            status = db->Get(leveldb::ReadOptions(), k[i], &v2[i]);
            assert(status.ok());
        }
        auto end = std::chrono::system_clock::now();
        auto duration = std::chrono::duration_cast<std::chrono::microseconds>(end - start);

        std::cout << TEST_FREQUENCY <<"次获取耗时: "
            << double(duration.count()) * std::chrono::microseconds::period::num / std::chrono::microseconds::period::den
            << "秒" << std::endl;
        // 验证获取结果是否正确
        std::string ss;
        for (int i = 0; i < TEST_FREQUENCY; ++i) {
            if (v2[i] != v) {
                std::cout << "第 " << i << " 个结果不正确" << std::endl;
                std::cout << v2[i] << std::endl;
            }
        }
    }
    // 测试修改
    {
        auto start = std::chrono::system_clock::now();
        v.append(v);
        for (int i = 0; i < TEST_FREQUENCY; ++i) {
            status = db->Put(leveldb::WriteOptions(), k[i], v);
            assert(status.ok());
        }
        auto end = std::chrono::system_clock::now();
        auto duration = std::chrono::duration_cast<std::chrono::microseconds>(end - start);

        std::cout << TEST_FREQUENCY <<"次修改耗时: "
            << double(duration.count()) * std::chrono::microseconds::period::num / std::chrono::microseconds::period::den
            << "秒" << std::endl;
    }

    // 测试删除
    {
        auto start = std::chrono::system_clock::now();
        for (int i = 0; i < TEST_FREQUENCY; ++i) {
            status = db->Delete(leveldb::WriteOptions(), k[i]);
            assert(status.ok());
        }
        auto end = std::chrono::system_clock::now();
        auto duration = std::chrono::duration_cast<std::chrono::microseconds>(end - start);

        std::cout << TEST_FREQUENCY <<"次删除耗时: "
            << double(duration.count()) * std::chrono::microseconds::period::num / std::chrono::microseconds::period::den
            << "秒" << std::endl;
    }
    delete db;
    return 0;
}

Forest 测试代码

#include <cassert>  
#include <string>  
#include <iostream>
#include <chrono>

#include "libforestdb/forestdb.h"

#define TEST_FREQUENCY  (10000)

char* randomstr()
{
    static char buf[1024];
    int len = rand() % 768 + 255;
    for (int i = 0; i < len; ++i) {
        buf[i] = 'A' + rand() % 26;
    }
    buf[len] = '\0';
    return buf;
}

int main()
{
    fdb_file_handle* fdbFileHandle = nullptr;
    fdb_kvs_handle* fdbKvsHandle = nullptr;
    fdb_status status;

    // 初始化ForestDB
    // 1、文件配置设置配置
    fdb_config fileConfig = fdb_get_default_config();
    {// WAL阈值4K
        fileConfig.wal_threshold = 4096;
        // 缓存大小64MB
        fileConfig.buffercache_size = 64 * 1024 * 1024;
        // 设置使用默认的kvs
        fileConfig.multi_kv_instances = false;
        // 关闭循环块复用
        fileConfig.block_reusing_threshold = 100;
        // 使用序列树
        fileConfig.seqtree_opt = FDB_SEQTREE_USE;
    }
    // 2、使用设置的配置进行初始化
    status = fdb_init(&fileConfig);
    assert(status == FDB_RESULT_SUCCESS);

    // 打开数据库
    status = fdb_open(&fdbFileHandle, "./testdb", &fileConfig);
    assert(status == FDB_RESULT_SUCCESS);
    // 打开kvs
    fdb_kvs_config kvsConfig = fdb_get_default_kvs_config();
    status = fdb_kvs_open_default(fdbFileHandle, &fdbKvsHandle, &kvsConfig);
    assert(status == FDB_RESULT_SUCCESS);


    srand(2017);
    std::string k[TEST_FREQUENCY];
    for (int i = 0; i < TEST_FREQUENCY; ++i) {
        k[i] = (randomstr());
    }
    std::string v("壹贰叁肆伍陆柒捌玖拾");
    v.append(v).append(v).append(v).append(v).append(v);

    // 测试添加
    {
        auto start = std::chrono::system_clock::now();
        for (int i = 0; i < TEST_FREQUENCY; ++i) {
            status = fdb_set_kv(fdbKvsHandle, k[i].data(), k[i].size(), v.data(), v.size());
            assert(status == FDB_RESULT_SUCCESS);
        }
        // 提交操作到磁盘(这里必须commit才能实际写入到磁盘)
        fdb_commit(fdbFileHandle, FDB_COMMIT_NORMAL);

        auto end = std::chrono::system_clock::now();
        auto duration = std::chrono::duration_cast<std::chrono::microseconds>(end - start);
    
        std::cout << TEST_FREQUENCY <<"次添加耗时: "
            << double(duration.count()) * std::chrono::microseconds::period::num / std::chrono::microseconds::period::den
            << "秒" << std::endl;
    }
    // 测试获取
    {
        auto start = std::chrono::system_clock::now();
        void* v2[TEST_FREQUENCY]; size_t v2len[TEST_FREQUENCY];
        for (int i = 0; i < TEST_FREQUENCY; ++i) {
            status = fdb_get_kv(fdbKvsHandle, k[i].data(), k[i].size(), &v2[i], &v2len[i]);
            assert(status == FDB_RESULT_SUCCESS);
        }
        auto end = std::chrono::system_clock::now();
        auto duration = std::chrono::duration_cast<std::chrono::microseconds>(end - start);

        std::cout << TEST_FREQUENCY <<"次获取耗时: "
            << double(duration.count()) * std::chrono::microseconds::period::num / std::chrono::microseconds::period::den
            << "秒" << std::endl;
        // 验证获取结果是否正确
        std::string ss;
        for (int i = 0; i < TEST_FREQUENCY; ++i) {
            ss.assign((const char*)v2[i], v2len[i]);
            if (ss != v) {
                std::cout << "第 " << i << " 个结果不正确" << std::endl;
                std::cout << ss << std::endl;
            }
            free(v2[i]);
        }
    }
    // 测试修改
    {
        auto start = std::chrono::system_clock::now();
        v.append(v);
        for (int i = 0; i < TEST_FREQUENCY; ++i) {
            status = fdb_set_kv(fdbKvsHandle, k[i].data(), k[i].size(), v.data(), v.size());
            assert(status == FDB_RESULT_SUCCESS);
        }
        // 提交操作到磁盘(这里必须commit才能实际写入到磁盘)
        fdb_commit(fdbFileHandle, FDB_COMMIT_NORMAL);

        auto end = std::chrono::system_clock::now();
        auto duration = std::chrono::duration_cast<std::chrono::microseconds>(end - start);

        std::cout << TEST_FREQUENCY <<"次修改耗时: "
            << double(duration.count()) * std::chrono::microseconds::period::num / std::chrono::microseconds::period::den
            << "秒" << std::endl;
    }

    // 测试删除
    {
        auto start = std::chrono::system_clock::now();
        for (int i = 0; i < TEST_FREQUENCY; ++i) {
            status = fdb_del_kv(fdbKvsHandle, k[i].data(), k[i].size());
            assert(status == FDB_RESULT_SUCCESS);
        }
        // 提交操作到磁盘(这里必须commit才能实际写入到磁盘)
        fdb_commit(fdbFileHandle, FDB_COMMIT_NORMAL);

        auto end = std::chrono::system_clock::now();
        auto duration = std::chrono::duration_cast<std::chrono::microseconds>(end - start);

        std::cout << TEST_FREQUENCY <<"次删除耗时: "
            << double(duration.count()) * std::chrono::microseconds::period::num / std::chrono::microseconds::period::den
            << "秒" << std::endl;
    }
    
    // 关闭数据库
    status = fdb_kvs_close(fdbKvsHandle);
    assert(status == FDB_RESULT_SUCCESS);
    status = fdb_close(fdbFileHandle);
    assert(status == FDB_RESULT_SUCCESS);
    status = fdb_shutdown();
    assert(status == FDB_RESULT_SUCCESS);
    return 0;
}

原文：https://www.cnblogs.com/oloroso/p/6306352.html

庚庚911
关注
专栏目录
LevelDB性能测试
08-03 4809
Google最近开源了LevelDB，它是一个性能非常高的Key/Value数据库，目前最新版本为1.2，可以支持billion级别的数据量，而且在这个数量级下还有非常高的性能，可谓是超级的强大，哈哈！不过这一切都归功于它的优秀设计，它的设计很好的解决了普通数据库最怕的随机IO问
leveldb之简单测试
Cynric 的博客
09-14 9155
1. 最新版下载地址https://code.google.com/p/leveldb/downloads/list 2. 放到linux系统中解压并编译，其实编译leveldb很简单，解压下载包之后进入目录直接执行make即可。编译完成之后会在当前目录生成几个文件：    libleveldb.a libleveldb.so libleveldb.so.1 libleveldb.so
LevelDB初体验
热门推荐
张兆坤
10-19 3万+
最近工作需要找一个能使用磁盘存储数据，对写要求比较苛刻，需要每秒达100000TPS，读的时候需要能10000TPS左右，不能占用太多内存。单节点满足这个要求的常见有Redis、Memcached等，但是这个东西太费内存了，代价比较高，不太合适。找来找去，找到Leveldb这个神器了，在写的时候对内存要求不高，读的时候根据性能要求的不同需要对应的内存，如果使用SSD就是完美搭配了。
探索ForestDB：高性能键值存储的新境界
最新发布
gitblog_00356的博客
09-05 306
探索ForestDB：高性能键值存储的新境界 forestdbA Fast Key-Value Storage Engine Based on Hierarchical B+-Tree Trie项目地址:https://gitcode.com/gh_mirrors/fo/forestdb 项目介绍 ForestDB，由Couchbase的缓存与存储团队匠心打造，是下一代键值存储引擎的典范。它基...
leveldb性能分析和表现
weixin_30832351的博客
08-02 523
Leveldb是一个google实现的非常高效的kv数据库，目前的版本1.2能够支持billion级别的数据量了。 在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计。特别是LSM算法。 那么数据库最怕的的随机IO他是如何解决的呢？ 先说随机写，它的写都是先记录到日志文件去的，在日志文件满之前只是简单的更新memtable,那么就把随机写转化成了顺序写。在日志...
leveldb测试程序
07-24
linux下c++实现leveldb的添加数据，查询数据，对于学习理解leveldb很有帮助
基于Netty+SpringBoot+LevelDB实现的高性能、高可靠性的消息队列+源代码+文档说明
11-28
1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合...
leveldb学习：测试代码
tmshasha的专栏
07-16 2062
leveldb中带有了大量的测试程序，凡是文件命名中带有_test的文件都是测试代码。就我的理解，阅读测试代码非常要，因为作为一个库，leveldb并不带有main函数，这也不利于我们理解leveldb的结构和流程，而测试代码相当程度上弥补了一点。并且，作为一个在校学生，我们在平时的项目中也极少考虑过写测试代码，今天我就抛砖引玉，以我的水平来剖析下leveldb的测试部分。 leveldb的测试代
leveldb-benchmarks:一堆使用 node.js 使用 leveldb 测试各种事物的基准测试
06-26
leveldb 基准测试 一堆使用 node.js 使用 leveldb 测试各种事物的基准测试 批量插入 leveldb 有一个batch API，如果使用得当，可以提高批量插入的性能。 对此的基准位于以下存储库中： 这个基准的要点： 等待批量...
YCSB-cpp：用C ++编写的YCSB，用于LevelDB，RocksDB和LMDB
02-12
当前支持LevelDB，RocksDB和LMDB。 建筑 只需使用make即可构建。 仅绑定LevelDB： make BIND_LEVELDB=1 BIND_ROCKSDB=0 BIND_LMDB=0 或修改Makefile。 要使用其他库进行构建并包含目录： make EXTRA_CXXFLAGS=-...
Leveldb lmdb性能对比
07-16
Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比Leveldb lmdb性能对比
leveldb(ssdb)性能、使用场景评估
wangchaoqi1985的博客
06-13 1896
　　最近有个业务场景存储压力很大，写远远大于读，读也集中在最近写入，想想这不很适合采用leveldb存储么。leveldb的话好像用ssdb比较多，花了两天时间就ssdb简单做下测试，以下总结。 　
leveldb 性能、使用场景评估 (转载）
weixin_30520015的博客
05-06 409
leveldb 性能、使用场景评估--http://www.cnblogs.com/lulu/p/4231810.htmlleveldb 性能、使用场景评估 　　最近有个业务写远远大于读，读也集中在最近写入，这不很适合采用leveldb存储么，leveldb业界貌似ssdb用得挺广，花了两天时间就ssdb简单做下测试，以下总结。　　ssdb是leveldb的redis兼容协议封装，并且实...
LevelDb
萌萌的It人 www.itmmd.com
07-22 7856
LevelDb 是 Google 开源的持久化 KV 单机存储引擎。 针对存储面对的普遍随机 IO 问题，leveldb 采用了 merge-dump 的方式，将逻辑场景的写请求转换成顺序写log 和写 memtable 操作,由后台进程将 memtable 持久化成 sstable。 对于读请求，随机 IO 还是无法避免，但它设计了一系列策略来保证读的效率。 1. 特点 键和值都是
键值数据库LevelDB的优缺点及性能分析
大数据
11-27 4564
导读：LevelDB是一种为分布式而生的键-值数据库。作者：廖环宇 张仕华来源：大数据DT（ID：hzdashuju）01 LevelDB的特性LevelDB是一个C++语言编写的高效键-...
ForestDB —— 快速的 Key-Value 存储引擎
weixin_34133829的博客
06-02 374
ForestDB 是一个快速的 Key-Value 存储引擎，基于层次B +树单词查找树。由 Couchbase 缓存和存储团队开发。 文章转载自 开源中国社区 [http://www.oschina.net] ...
Badger、Leveldb
ee-77的博客
04-01 1915
都是key leveldb go翻写c++的 badger 是完全go编写的 都是kv db wiki的比较 https://db-engines.com/en/system/Badger%3BLevelDB BadgerDB 介绍 2017年发行 来自DGraph实验室 开源 纯go语言编写 LevelDB 介绍 2011年发行 来自Google实验室 开源 发行与c++，go翻写 Badg...
ForestDB 开源项目使用教程
gitblog_00039的博客
09-05 340
ForestDB 开源项目使用教程 forestdbA Fast Key-Value Storage Engine Based on Hierarchical B+-Tree Trie项目地址:https://gitcode.com/gh_mirrors/fo/forestdb 1. 项目目录结构及介绍 森林数据库（ForestDB）是一款基于分层的B+-树结构（HB+-Trie）设计的键值存...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值