c++ mongodb driver 性能分析

已于 2022-10-18 19:28:53 修改
阅读量436 收藏
点赞数
分类专栏： 手把手教你C++开发 数据库学习从入门到精通 文章标签： linux c++ 数据库开发
于 2022-10-18 19:24:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44834554/article/details/127390853
版权

系列数据库开发

文章目录

前言

一、mongodb 性能测试环境准备

测试基准：

Centos7.5
cpu：4
memory：6g

安装Mongodb数据库，版本为4.4.3
g++ 4.8.5

mongo启动使用默认配置，无任何修改的环境下。

二、c++ 在centos 7.5 mongo create与query性能分析

1. 代码实现

本测试中通过glags修改insert线程数threaNum，与内存分配大小size

std::atomic_bool running{false};
std::atomic_int timestart(0);
std::atomic_int count(0);
char *buffer = nullptr;
const int EverySeconds = 5;
DEFINE_int32(threaNum, 10, "thread num");
DEFINE_int32(length, 2*1024*1024, "memory size");

void wirteDBTask(int taskid) 
{
    std::cout<< "create Task------>"<< taskid <<std::endl;
    std::thread([taskid](){
        auto client = dbclient();
        auto coll = (*client)["vtest"]["test"];  
        while (true) { 
            auto userid = butil::GenerateGUID();
            const auto &doc = bsoncxx::builder::stream::document{}
                                << "_id" << userid 
                                << "user" << butil::GenerateGUID()
                                << "pwd" << butil::GenerateGUID()
                                << "name" << "text"
                                << "jpegdata" << buffer
                                << finalize;      
            coll.insert_one(doc.view()); 

            ++count;
            auto now = time(NULL);
            if(now - timestart > EverySeconds){
                LOG(INFO)<< "every second average: "<< count/EverySeconds;
                count = 0;
                timestart = now;
            }            
        }
        std::cout<< "destroy Task------>"<< taskid <<std::endl;
    }).detach();    
}
void readDBTask(int taskid)
{
    std::cout<< "create Task------>"<< taskid <<std::endl;
    std::thread([taskid](){
        auto client = dbclient();
        auto coll = (*client)["vtest"]["test"];  
        std::string user[5] = {
            "7D1D01FD-41B7-FEC9-E0F9-FF64BF63E35F",
            "DDDDDDDDDDDDDDDDDDDDDDDDDEEEEEEEEEEEE",
            "7D1D01FD-41B7-FEC9-E0F9-FF64BF63E35F",
            "86680647-6966-24D8-00B3-FF38CAA608A7",
            "DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD"
        };
        int circle = 0;
        while (true) { 
            ++circle;
            if(circle%5==0){
                circle = 0;
            }            
            const auto &doc = bsoncxx::builder::stream::document{}
                                << "user" << user[circle]
                                << finalize;        
            auto resultdoc = coll.find_one(doc.view());           
            if(resultdoc){
                resultdoc->view()["name"].get_utf8().value.to_string();
            }     
            ++count;
            auto now = time(NULL);
            if(now - timestart > EverySeconds){
                LOG(INFO)<< "every second average: "<< count/EverySeconds;
                count = 0;
                timestart = now;
            }            
        }
        std::cout<< "destroy Task------>"<< taskid <<std::endl;
    }).detach();   
    return ;
}

bool InsertDataByMutilThreads()
{
    auto result = true;
    running = true;
    
    buffer = new char [FLAGS_length];
    memset((void*)buffer,1,FLAGS_length);

    timestart = time(NULL);
    for(auto taskid=0;taskid<FLAGS_threaNum;taskid++){
        wirteDBTask(taskid);
    }
    return res;
}

bool QueryDataByMutilThreads()
{
    auto result = true;
    running = true;
    
    buffer = new char [FLAGS_length];
    memset((void*)buffer,1,FLAGS_length);

    timestart = time(NULL);
    for(auto taskid=0;taskid<FLAGS_threaNum;taskid++){
        readDBTask(taskid);
    }
    return res;
}

2. 写性能测试

实验1：固定buffersize = 102410242=2M,通过增加多线程来insert，当线程达到一定数量后，tps不会持续增加。
a）
thread Num: 1
buffer alloc length: 2097152
tps：60-70
在这里插入图片描述

b）
buffer alloc length: 2097152
thread Num: 4
tps：160-170
在这里插入图片描述

c）
buffer alloc length: 2097152
thread Num: 8
tps：160-170
在这里插入图片描述

实验2：固定线程数4，通过insert不同大小的buffer，当buffer减少到一定大小，就会保持tps稳定，也就是说tps随着buffersize的增加会降低。

a）
thread Num: 4
buffer alloc length: 2097152 = 2M
tps：160-170
在这里插入图片描述

b）
thread Num: 4
buffer alloc length: 1048576 = 1M
tps：320-350
在这里插入图片描述

c）
thread Num: 4
buffer alloc length: 524288= 512K
tps： 600-700
在这里插入图片描述

d）
thread Num: 4
buffer alloc length: 262144= 256K
tps： 1100-1200
在这里插入图片描述
e）
thread Num: 4
buffer alloc length: 1024= 1K
tps： 5000-6000
在这里插入图片描述

f）
thread Num: 4
buffer alloc length: 1Byte
tps： 5000-6000
在这里插入图片描述

3. 以_id为查询条件的读性能测试

默认以_id为索引

std::atomic_bool running{false};
std::atomic_int timestart(0);
std::atomic_int count(0);
char *buffer = nullptr;
const int EverySeconds = 5;
DEFINE_int32(threaNum, 10, "thread num");
DEFINE_int32(length, 2*1024*1024, "memory size");


void readDBTask(int taskid)
{
    std::cout<< "create Task------>"<< taskid <<std::endl;
    std::thread([taskid](){
        auto client = dbclient();
        auto coll = (*client)["vtest"]["test"];  
        std::string id[5] = {
            "7D1D01FD-41B7-FEC9-E0F9-FF64BF63E35F",
            "DDDDDDDDDDDDDDDDDDDDDDDDDEEEEEEEEEEEE",
            "7D1D01FD-41B7-FEC9-E0F9-FF64BF63E35F",
            "86680647-6966-24D8-00B3-FF38CAA608A7",
            "DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD"
        };
        int circle = 0;
        while (true) { 
            ++circle;
            if(circle%5==0){
                circle = 0;
            }            
            const auto &doc = bsoncxx::builder::stream::document{}
                                << "_id" << id[circle]
                                << finalize;      
            auto resultdoc = coll.find_one(doc.view());           
            if(resultdoc){
                resultdoc->view()["name"].get_utf8().value.to_string();
            }     
            ++count;
            auto now = time(NULL);
            if(now - timestart > EverySeconds){
                LOG(INFO)<< "every second average: "<< count/EverySeconds;
                count = 0;
                timestart = now;
            }            
        }
        std::cout<< "destroy Task------>"<< taskid <<std::endl;
    }).detach();   
    return ;
}



bool QueryDataByMutilThreads()
{
    auto result = true;
    running = true;
    
    buffer = new char [FLAGS_length];
    memset((void*)buffer,1,FLAGS_length);

    timestart = time(NULL);
    for(auto taskid=0;taskid<FLAGS_threaNum;taskid++){
        readDBTask(taskid);
    }
    return res;
}

实验1：通过增加多线程来query，当线程达到一定数量后，tps不会持续增加。
本实验默认以_id为查询条件。
a）
thread Num: 1
tps：800-900
在这里插入图片描述
b）
thread Num: 4
tps：950-1050
在这里插入图片描述

c）
thread Num: 4
tps：950-1050
在这里插入图片描述

4. 无索引与有索引读性能测试

std::atomic_bool running{false};
std::atomic_int timestart(0);
std::atomic_int count(0);
char *buffer = nullptr;
const int EverySeconds = 5;
DEFINE_int32(threaNum, 10, "thread num");
DEFINE_int32(length, 2*1024*1024, "memory size");


void readDBTask(int taskid)
{
    std::cout<< "create Task------>"<< taskid <<std::endl;
    std::thread([taskid](){
        auto client = dbclient();
        auto coll = (*client)["vtest"]["test"];  
        std::string user[5] = {
            "7D1D01FD-41B7-FEC9-E0F9-FF64BF63E35F",
            "DDDDDDDDDDDDDDDDDDDDDDDDDEEEEEEEEEEEE",
            "7D1D01FD-41B7-FEC9-E0F9-FF64BF63E35F",
            "86680647-6966-24D8-00B3-FF38CAA608A7",
            "DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD"
        };
        int circle = 0;
        while (true) { 
            ++circle;
            if(circle%5==0){
                circle = 0;
            }            
            const auto &doc = bsoncxx::builder::stream::document{}
                                << "user" << user[circle]
                                << finalize;      
            auto resultdoc = coll.find_one(doc.view());           
            if(resultdoc){
                resultdoc->view()["name"].get_utf8().value.to_string();
            }     
            ++count;
            auto now = time(NULL);
            if(now - timestart > EverySeconds){
                LOG(INFO)<< "every second average: "<< count/EverySeconds;
                count = 0;
                timestart = now;
            }            
        }
        std::cout<< "destroy Task------>"<< taskid <<std::endl;
    }).detach();   
    return ;
}



bool QueryDataByMutilThreads()
{
    auto result = true;
    running = true;
    
    buffer = new char [FLAGS_length];
    memset((void*)buffer,1,FLAGS_length);

    timestart = time(NULL);
    for(auto taskid=0;taskid<FLAGS_threaNum;taskid++){
        readDBTask(taskid);
    }
    return res;
}

实验1：
固定线程数，通过有索引查询与无索引query的tps，有索引的tps远远大于索引查询tps
本实验默认以_id为查询条件。
a）
thread Num: 4
tps：0-1
在这里插入图片描述

b）
db.test.createIndex({user:1});
thread Num: 4
tps：950-1050
在这里插入图片描述

总结

以上就是今天要讲的内容，希望你对mongodb性能有个大概的了解。

c+猿辅导
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
C++库封装mongodb（跨平台开发）
网易搬砖选手
08-28 1万+
我的初衷是在Linux平台下只提供动态库和头文件，windows平台下提供静态库和头文件给开发者，这个库mongo-proxy对外提供了一些对mongodb的连接，增删改查，创建索引，聚合等操作的封装，开发者只需要关心接口如何调用，而不需要关心接口是如何实现的，也不需要关心mongo-c-driver的相关依赖，这里我抽象出mongo_proxy类,
MongoDB C++ Driver 使用入门
07-22 3845
最近在使用MongoDB的C++ Driver，很奇怪MongoDB是C++写的，但是却没有提供现成的C++ Driver，而且由于没怎么用过C++，自己去编译的过程中遇到好多问题，浪费好多天才编译成了一个库。简单的总结一下就是从源码编译出一个可以用的Driver需要以下几步...
C++ 实战Mongodb CRUD操作基本用法
weixin_44834554的博客
11-09 2217
mongo c++ driver crud + 高级操作
MongoDb Windows 环境下 c++ driver 安装流程
norsd的专栏
05-11 1997
1.安装boost 1.60 位置: c:\boost_1_60_0 下载安装mongo c dirver http://mongoc.org/?jmp=docs#documentation http://mongoc.org/libmongoc/current/installing.html Building on Windows 先编译 libbson 进入libsson的...
c/c++ mongodb写入例程
Judah_t的博客
12-13 508
mongodb简单的例子，以及附带windows环境下编译好的Release版本库，简单下载即可测试
C++调用MongoDB数据库
m0_46185044的博客
08-24 6001
C++调用MongoDB数据库(一) 一、简介 本篇文章主要讲述如何使用C++调用MongoDB数据库实现增、删、查、改。 MongoDB MongoDB是一个基于分布式文件存储的数据库，由C++语言编写，一般多用于WEB应用进行可扩展的高性能数据存储。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。 MongoDB文档 MongoDB中的记录是一个文档，它是由
mongodb C++ driver CMakeList配置
tang_jin2015的专栏
05-10 1492
mongodb C++ driver CMakeList配置 最近在看Mongodb数据库，终于要用VSCode 替代CodeBlock了，用CMakelist来编译，另一个挑战啊 在官网下载最新的驱动，首先安装了C driver,随后安装C++driver，一开始认为一些配置文件可要可不要，最后还是把官网上面提示的所有配置选项加入，在 默认在/usr/local/lib下生
mongodb C++ driver编译报错解决方案
heihei36的专栏
05-17 1233
错误信息： In file included from /usr/bin/mongo-cxx-driver-r3.1.1/src/bsoncxx/json.hpp:21:0,                  from /usr/bin/mongo-cxx-driver-r3.1.1/src/bsoncxx/document/element.cpp:24: /usr/bin/mongo-cx
mongodb C++ driver调用存储过程
tang_jin2015的专栏
05-10 359
mongodb C++driver调用存储过程  虽然存储过程调用要翻译成后台的BSON语句，但是在执行复杂的运算时还是非常有用的，不用将数据库的数据都加载到程序中，尤其是数据量大的时候，从SQL切到 mongodb,一时之间还有很多的不透彻之处。 存储过程的调用，顾名思义是JS代码的调用，在BSONObjbuilder中的appendCode或者appendCodeWSCope中可
MongoDB C++ Driver 3.4.x
12-12
MongoDB C++ Driver 3.4.x 是MongoDB官方提供的一款C++编程接口，用于在C++应用程序中与MongoDB数据库进行交互。这个版本的驱动适用于64位Windows操作系统，并且包含了debug版本的库文件，这通常是开发人员在调试...
C++ MongoDB 连接池代码实现
10-08
该代码是C++ MongoDB的连接池代码实现。代码封装了一个连接池类对象，通过该对象提供的连接池来操作MongoDB，提升了性能，减少了数据库连接资源的开销。
MongoDB C++ Driver 3.4.x release
12-12
在实际开发中，使用MongoDB C++ Driver 3.4.x 版本可以极大地提升MongoDB应用的开发效率和性能，同时享受到MongoDB提供的强大数据管理能力。通过不断学习和熟练掌握这个驱动，开发者可以构建出高效、稳定的C++ ...
mongodb driver使用代码详解
09-08
MongoDB 是一个流行的NoSQL数据库系统，它采用分布式文件存储，由 C++ 编写，提供了高性能、高可用性和可扩展性。不同于传统的关系型数据库，MongoDB 支持丰富的数据模型，包括文档、集合、数据库，非常适合于处理大...
MongoDB-C++-Driver3.2.rar
05-12
此外，MongoDB-C++-Driver还支持聚合框架，允许开发者进行复杂的数据分析和处理。通过`aggregate()`方法，可以执行管道操作，包括匹配、投影、群组、排序等，实现数据的过滤和转换。 在性能方面，MongoDB-C++-...
Windows 下的sqlserver数据拷贝到linux
cyw8998的专栏
07-25 267
2.在 >1 提示符下，输入以下 RESTORE DATABASE 命令，并在每行后按 Enter（无法同时复制和粘贴整个多行命令）。将出现的所有 gpdb 替换为数据库的名称。1.启动 sqlcmd。下面的示例以 SA 用户身份连接到本地 SQL Server。出现提示时输入密码，或使用 -P 参数指定密码。SSH打开linux终端。
Linux：进程信号（二.信号的保存与处理、递达、volatile关键字、SIGCHLD信号）
qq_74415153的博客
07-25 1189
1.信号保存 1.1递达、未决、阻塞等概念 1.2再次理解信号产生与保存 1.3信号集操作函数 sigset_t类型 sigprocmask系统调用 sigpending系统调用 2.信号的处理/递达 2.1信号处理时机与过程 2.2用户态和内核态 2.3再看进程地址空间 谁来运行OS 2.4信号的捕捉-sigaction()函数 3.补充知识 3.1可重入函数 3.2volatile关键字 3.3 SIGCHLD信号
【Linux】通过分配虚拟内存的方式来解决因内存不够而导致部署的项目自动挂掉
smile_sundays的博客
07-24 778
（6）这样配置，每次服务器重启，就没了，所以设置开机自动挂载 Swap 分区，编辑文件 /etc/fstab，在下面加入：/var/swap　　swap　　swap　　default　　0 0。第一种方法：进行JVM调优可以改善这种情况，但是项目太多，我们的个人服务器配置实在太低，仍然无法解决此问题，这里不做讨论了。（5）启动完项目后，执行： ps aux | grep java 查看所有服务，看看是否还会再挂，一般就不会了。（2）划分虚拟内存分区（大小为2G），执行命令会卡一小会无响应。
Linux初学基本命令
最新发布
yuan20010401的博客
07-25 614
1、rm 文件名称 删除多个文件多个目录需要用空格 删除根目录（rm -rf /*）1、touch 文件名字 用于linux创建文件 创建多个目录需要用空格隔开。2、mkdir 目录名称 用于创建文件夹 创建多个嵌套文件夹需要用/隔开。1、cp 当前文件 其他目录名称 拷贝文件夹需要在最后 -r。退出不保存时按Esc+:q!1、ls 查看当前目录下面的文件或者文件夹。2、more 文件名称 查看文件更多内容。1、mv 原文件路径 目标文件路径。退出保存时按Esc + :wq。
mongodb c++
09-11
有两个常用的驱动库，分别是mongodb-c-driver和mongo-cxx-driver。这些库需要自行编译，并且mongodb-cxx-driver还依赖于boost库。使用C连接MongoDB需要学习相关的操作方法和例子，可以结合官方提供的驱动中的操作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

c+猿辅导

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值