mongocxx::client并发安全问题：从将json转bson插入mongodb失败说起

最新推荐文章于 2024-03-14 11:38:31 发布

Sumtoo

最新推荐文章于 2024-03-14 11:38:31 发布

阅读量2.3k

点赞数 2

分类专栏： MongoDB 文章标签： mongocxx from_bson multi-threa

本文链接：https://blog.csdn.net/LuyaoYing001/article/details/80435496

版权

在开发与MongoDB交互的交易系统时，遇到并发使用mongocxx::client导致的异常。经过排查，发现每个线程不能共享同一个mongocxx::client实例，即使同步也不安全。解决方法是在每个线程中创建独立的mongocxx::client，避免并发修改内部结构。此问题揭示了在无法直接找到解决方案时，需要深入分析bug并系统学习新技术的重要性。

摘要由CSDN通过智能技术生成

最近，开发的交易系统与mongodb进行交互时遇到一个很诡异的问题，这个坑比较深，搜索引擎上能找到的资料也都刷了一遍，试了无数种可能解决问题的方案。最后，放弃搜索，重新从代码出发。

从最后的出错信息上看，很难定位到问题根源，在clion开发环境运行抛出以下运行时错误。刚开始以为是查询出错了，check了所有与coll.find()有关的代码块，采用注释掉部分程序去定位产生问题的代码片段（笨办法）一步一步去找。

terminate called after throwing an instance of 'mongocxx::v_noabi::query_exception'
  what():  Invalid reply to find command.: generic server error

终于，定位到出问题的代码块如下：

coll

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Sumtoo

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

mongocxx相关（mongodb c++用法）

A_L_A_N

12-20

2709

安装：http://mongocxx.org/mongocxx-v3/installation/

MongoDB的多线程并行操作

weixin_33656634的博客

02-26

6901

在多线程中对MongoDB进行操作，需要确保各线程之间读写的安全性，需要为每个线程绑定独立的mongocxx::client对象。以下为官方标准例子： Never do this： mongocxx::instance instance{}; mongocxx::uri uri{}; mongocxx::client c{uri}; auto db1 = c["db1"]; auto db2...

参与评论您还未登录，请先登录后发表或查看评论

Mongodb导出JSON或CSV

大程程IT笔记

03-24

2135

Mongodb导出JSON或CSV一、使用工具二、解决思路及办法2.1 快速指导2.2 工具选项含义一、使用工具 mongoexport命令行 mongoexport是官方提供的可以生成JSON和CSV数据文件的命令行工具，其在安装目录的bin文件夹下。二、解决思路及办法 2.1 快速指导导出JSON mongoexport --uri="mongodb://192.168.0.27:27017/test" --collection=operationLog --out=my.json --pret

Qt使用MongoDB的c++接口：连接、创建、写入、读取

qq_23604781的博客

09-07

1512

使用c++接口，连接数据库，创建表格，查找表格中的数据，写入一个图片文件，并从数据库中拿取图片数据再保存为图片。。例如:好了，直接上代码。

windows和Linux下mongocxx编译及使用说明

Where there is life, there is hope.

06-23

1392

mongocxx编译及使用说明 windows使用visual studio 2017编译release库，依赖boost1.66 Linux使用系统自带的gcc和boost版本库，在ubuntu16.04编译成功

MongoDB数据库：MongoDB与微服务架构集成

最新发布

07-12

- **文档存储模型**：MongoDB使用BSON（Binary JSON）格式存储数据，允许存储复杂的数据结构，如嵌套文档和数组。 - **灵活的查询语言**：提供了丰富的查询语言，支持复杂的查询操作，包括聚合、排序、过滤等。 - **...

lua-mongo：用于Lua的MongoDB驱动程序

02-03

对于文档操作，lua-mongo支持BSON（Binary JSON）格式，这是MongoDB中用来表示数据的标准格式。这意味着你可以直接在Lua中操作JSON风格的对象，无需进行额外的序列化或反序列化。 lua-mongo的另一个关键特性是其...

IdentityServer4.Contrib.MongoDB：IdentityServer4的MongoDB持久层

02-04

MongoDB是一种文档型数据库，其数据模型基于BSON（Binary JSON）格式，允许存储复杂的数据结构，如嵌套文档和数组。这对于存储OAuth2和OpenID Connect中的身份验证和授权数据非常合适，因为这些数据往往包含丰富的元...

MongoDB+集成SpringBoot+索引+并发优化 - 基于《MongoDB进阶与实战：唐卓章》

10-21

1万+

如果是通过注解＠Document实现映射的实体类，在MongoDB中都会出现一个叫_class的字段，里面包含的是该实体类的全限定名路径，其实有些多余，是可以去掉的，通过定制TypeMapper的实现来去掉它，在配置类中进行处理// 构造 DefaultMongoTypeMapper 把typeKey设置为空 mongoConverter . setTypeMapper(new DefaultMongoTypeMapper(null));}理想情况下，MongoDB可以提供近似内存式的读写性能。

C++ MongoDB 连接池代码实现

10-08

该代码是C++ MongoDB的连接池代码实现。代码封装了一个连接池类对象，通过该对象提供的连接池来操作MongoDB，提升了性能，减少了数据库连接资源的开销。

mongo-cxx-driver

03-19

mongodb的C++ driver，芒果数据库的C++驱动源码

bson-cpp: 快速高效的C++ BSON库

gitblog_00060的博客

03-14

507

bson-cpp: 快速高效的C++ BSON库简介 bson-cpp 是一个用C++编写的轻量级BSON（Binary JSON）库，它提供了快速、高效且易于使用的API，用于处理BSON数据结构。 bsoncpp.org 应用场景 bson-cpp 可以广泛应用于各种需要处理BSON数据的场合： MongoDB数据库操作：通过C++与MongoDB进行交互时，可以方便地将数据转换为B...

异常处理简介

Fishfishfishfishcat

08-15

3017

一个程序的功能是有限的，那些超出函数正常功能范围的行为称为异常，最常见的异常包括数据库连接断开、遇到意外输入。异常实际是系统中最难设计的一部分。一、throw表达式程序异常检测部分使用throw表达式引发一个异常。throw后的表达式类型就是异常类型，来看一个最简单的类型： void printAge(int age) { if(age<0) throw std::runtime_error("Age < 0"); std::cout<<"age"<<

MongoDB&C++开发（四）bsoncxx::builder::stream::document的增删改查操作

自己的学习笔记

09-28

7333

2. mongocxx 续上一篇，接着看一下mongocxx中的文件有些什么。先看一下基本的增删改查操作： 2.1 connect.cpp 数据库的链接参见之前的博客。 2.2 create.cpp 构造文档并插入构造一个文档，插入数据库中的一个collection。 #include #include #include #include #include

MongoDB:将Json数据直接写入MongoDB的方法

热门推荐

喔哟哟哟哟

04-01

2万+

Json转Bson MongoDB中是以Bson数据格式进行存储的，Json字符串没有办法直接写入MongoDB 可以将Json字符串转换成DBObject或者Document，然后写入MongoDB 1、将Json字符转换成com.mongodb.DBObject（准确的说是BasicDBObject） scala版本 import com.mongodb.DBObject ...

java mongo 连接池_谈谈mongo driver的连接池

weixin_32211243的博客

02-24

551

前言对服务器来说, 在单条链接到达吞吐上限之前. 更少的链接意味着更少的上下文切换, 更少的内存消耗(tcp协议栈内存消耗, 应用层的buffer). 所以, 在常规的索引, 分片, 读写分离之外, 连接池的设计, 对数据库性能也有很重要的影响.我们使用的语言没有官方driver, 连接池的实现采用了固定大小. 在节点不多的情况下问题不大, 当节点数量越来越多时, 问题变得不容忽视. 于是, 参考...

mongo-cxx-driver的简单封装。

xyz347的博客

11-03

1598

代码在：https://github.com/xyz347/mongoxclient 受Golang启发写的，可以像golang一样直接操作结构体。只有基本接口，还不是很完备。范例：（里面很多代码是用来初始化结构体的，和封装没关系，封装的接口后面加了注释方便区分） #include <iostream> #include <mongocxx/client.hpp&gt...

如何使用MongoDB自带的json库来反序列json字符串

lemo的专栏

03-23

1万+

需求：在对mongodb中的字段值进行解析的时候发现，因为这个值是json字符串，需要对其进行反序列化。解决方法：首先想到了到http://www.json.org/json-zh.html网站去找相应的C++库，试了一下jsoncpp和JSON Spirit，因为是用scons来构建了，装了一下，编译以后玩不起来，放弃了。再试JSON Spirit，(http://www.cod

mongodb java json bson_使用Java将JSON文档数组插入MongoDB时出错

05-26

在使用Java将JSON文档数组插入MongoDB时，你需要使用BSON工具将JSON转换为BSON格式。以下是一个示例代码，可以将JSON数组插入到MongoDB中： ``` import com.mongodb.MongoClient; import com.mongodb.client.MongoCollection; import com.mongodb.client.MongoDatabase; import org.bson.Document; import org.bson.conversions.Bson; import org.bson.types.ObjectId; import java.util.ArrayList; import java.util.List; public class MongoDBTest { public static void main(String[] args) { // 创建MongoDB连接 MongoClient client = new MongoClient("localhost", 27017); // 获取MongoDB数据库 MongoDatabase database = client.getDatabase("test"); // 获取MongoDB集合 MongoCollection<Document> collection = database.getCollection("users"); // 创建JSON数组 String json = "[{ \"name\" : \"Tom\", \"age\" : 20 },{ \"name\" : \"Jerry\", \"age\" : 25 }]"; // 将JSON数组转换为BSON文档列表 List<Document> documents = new ArrayList<>(); JsonParser parser = new JsonParser(); JsonArray jsonArray = parser.parse(json).getAsJsonArray(); for (JsonElement jsonElement : jsonArray) { Document document = Document.parse(jsonElement.toString()); documents.add(document); } // 插入BSON文档列表到MongoDB集合 collection.insertMany(documents); // 关闭MongoDB连接 client.close(); } } ``` 在这个示例中，我们使用了JsonParser将JSON字符串转换为JsonArray，然后遍历JsonArray，将每个元素转换为BSON文档，并将文档添加到BSON文档列表中。最后，我们使用insertMany方法将BSON文档列表插入到MongoDB集合中。注意，在使用BSON工具时，需要注意BSON格式与JSON格式的差异。