MongoDB 批量更新/插入 即批量save或批量upsert 遇到的问题和解决方案

最新推荐文章于 2021-06-11 14:58:16 发布
VIP文章 最新推荐文章于 2021-06-11 14:58:16 发布
阅读量2.4k 收藏
点赞数
分类专栏： 报错总结 java MongoDB 文章标签： mongodb java json
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/crystal_1999/article/details/110928232
版权

MongoDB 批量更新/插入 即批量save或批量upsert 遇到的问题和解决方案

  1. 批量更新工具类完成
  2. 批量更新整个对象时候，因为没有$set符号导致异常，因此做了反射工具，再遍历字段去调用Update.set(k,v) 的方式去给字段赋值。（排除的字段目前是写死的，后续可以做成可配置）
  3. 批量更新时，对象有个属性是List< Object > 这个列表内的对象在插入时报错，说无法序列化：
java.lang.RuntimeException: json can't serialize type : class com.sy.sync.entity.po.mongo.ShopEntityBackTrackInfo$ReportGoods
	at com.mongodb.util.ClassMapBasedObjectSerializer.serialize(ClassMapBasedObjectSerializer.java:77) ~[mongo-java-driver-2.14.3.jar:?]
	at com.mongodb.util.JSONSerializers$IterableSerializer.serialize(JSONSerializers.java:292) ~[mongo-java-driver-2.14.3.jar:?]
	at com.mongodb.util.ClassMapBasedObjectSerializer.serialize(ClassMapBasedObjectSerializer.java:79) ~[mongo-java-driver-2.14.3.jar:?]
	at com.mongodb.util.JSONSerializers$MapSerializer.serialize(JSONSerializers.java:319) ~[mongo-java-driver-2.14.3.jar:?]
	at com.mongodb.util.ClassMapBasedObjectSerializer.serialize(ClassMapBasedObjectSerializer.java:79) ~[mongo-java-driver-2.14.3.jar:?]
	at com.mongodb.util.JSONSerializers$MapSerializer.serialize(JSONSerializers.java:319) ~[mongo-java-driver-2.14.3.jar:?]
	at com.mongodb.util.ClassMapBasedObjectSerializer.serialize(ClassMapBasedObjectSerializer.java:79) ~[mongo-java-driver-2.14.3.jar:?]
	at com.mongodb.util.JSONSerializers$MapSerializer.serialize(JSONSerializers.java:319) ~
最低0.47元/天 解锁文章
Over the territory
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MongoDB 批量插入及更新
02-22
MongoDB 批量插入及更新， 版本号4.0.6，使用MongoDB.Driver.IMongoCollection.BulkWrite 进行批量数据插入或更新。
[310]MongoDB数据插入、删除、更新、批量更新某个字段
热门推荐
周小董
07-12 12万+
批量更新某个字段 例1： db.getCollection('bond_sentiment_news').find({&quot;source&quot; : 2,&quot;siteUrl&quot; : &quot;http://www.21jingji.com/&quot;}).forEach( function(item){ db.getCollection('bond_sentiment..
【mongodb系统学习之九】mongodb保存数据
weixin_33747129的博客
07-23 271
九、mongodb保存数据： 1）、插入、保存数据：insert；语法db.collectionName.insert({“key”：value})，key是字段名，必须是字符串（使用有的工具，可以不加引号）；插入数据时，会默认产生_id字段，一般不指定；对于一个使用use创建的新数据库，只有保存了数据以后，使用showdbs才能查看到，...
mongoDB增删改查&批量操作
“看见月亮就想起你”的博客
06-15 1639
文章目录写在前面的一、查询二、插入三、删除四、修改五、批量操作写在最后的 写在前面的 mongo数据库是nosql数据库的一种，它是面向集合存储的，以存储对象类型的数据。刚开始接触mongo时，经常去百度一些mongo的语法仅仅是为了完成工作，周围的同事对mongo的了解感觉也不是很深，这就坚定了我要把一些mongo中常用语法和操作整理下来的想法，自己总结的同时，希望也能给大家带来帮助。 一、查询...
MongoDB批量upsert/save
越疆
12-09 2023
package com.ott.demo.dao.mongo.batch; import com.alibaba.fastjson.JSON; import com.gooagoo.log.GooagooLog; import com.mongodb.BasicDBObject; import com.mongodb.CommandResult; import com.mongodb.DBCollection; import com.mongodb.DBObject; import org.springf
MongoDB批量存储数据
Charle的博客
06-11 2360
MongoTemplate批量存储数据 在使用
mongo批量插入数据和长链接问题
he_ranly的博客
05-15 763
1.大批量数据插入： 当爬虫获取的数据量较大时，一条一条的写入MongoDB会过于消耗资源。 这时候就需要用到insert_many()方法，把数据放入列表中并批量插入，但是如果你为了数据不被重复建立了MongoDB的唯一索引，就可能会导致部分数据无法写入。 因为insert_many()默认是按序写入，一条数据写入失败，后面的数据就无法写入了。所以需要修改默认参数ordered。 当ordered=False时，数据就会被乱序并行插入，所以每个字典的插入操作互不影响 data_list = client.
spring操作mongodb时MongoTemplate的基本使用（增删改查批量操作）
扶醉的博客
03-01 1万+
配置文件请查看：springMVC+MongoDB配置 springmvc+mongodb实现登录注册增删改查：https://blog.csdn.net/qq_39329616/article/details/88046135 下面是测试类，方法收集于《MongoDB游记》和互联网，如有侵权请联系我及时删除 import java.util.ArrayList; import java....
Java多线程读取大文本文件并批量插入MongoDB的实战代码
07-09
Java多线程读取大文本文件并批量插入MongoDB的代码，文本文件,csv文件，可以结合POI...批量插入MongoDB，存在则更新，不存在则自动新增。 包含Main方法调用案例，基于接口的通用设计，业务模块可自定义实现具体逻辑。
Spring Data MongoDB 数据库批量操作的方法
08-26
在项目开发中经常会批量插入数据和更新数据的操作，这篇文章主要介绍了Spring Data MongoDB 数据库批量操作的方法，非常具有实用价值，需要的朋友可以参考下
Mongodb批量删除gridfs文件实例
12-16
db.fs.files.find({filename:/xxx/}).forEach(function(n) {db.fs.files.update({filename:u.filename},{$set:{filename:newname}},false,true)}} //正则批量更改为固定名称，便于删除。 mongofiles -port 12345 -d ...
java mongodb save_Springboot-mongodb MongoRepository接口 save方法 详解
weixin_39615419的博客
02-24 571
问题：我们都知道 mongodb 有两种添加数据的方式 一种 就是 save 方法 另外一种insert 方法这里两个方法 唯一的区别就是insert:当主键"_id"在集合中存在时，不做任何处理。 抛异常save:当主键"_id"在集合中存在时，进行更新。 数据整体都会更新 ，新数据会替换掉原数据 ID 以外的所有数据。如ID 不存在就新增一条数据save 方法需要遍历列表，一个个...
MongoDB save or update
Lv的程序人生
08-11 3329
调用API  dbCollection.findAndModify(query, null, null, false, saveobj, false, true); DBObject com.mongodb.DBCollection.findAndModify(DBObject query, DBObject fields, DBObject sort, boolean rem
关于MongoDB批量修改不成功的问题
Run_Function_Online的博客
07-19 2279
mongoDb 之update批量修改
mongodb 导入大批量数据出错的解决办法
gabrielyang的专栏
03-15 2443
使用mongoimport --host **** --db opac --collection requestrecord --type csv --fieldFile d:\header.csv --file d:\requestrecord.csv --numInsertionWorkers 100   为了提高mongodb的插入效率，我们可以采用mongodb推荐的（numInse...
mongodb 批量插入_MongoDB批量插入– MongoDB插入很多
从零开始的教程世界
07-19 1万+
mongodb 批量插入We will look into MongoDB bulk insert today. Multiple documents can be inserted at a time in MongoDB using bulk insert operation where an array of documents is passed to the insert method ...
报错:Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty
越疆
05-22 9368
输入flume-ng version 启动flume时报错Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty,但似乎已经启动. 这时我们可以去hbase中修改hbase-env.sh文件,把配置注释掉一行 #Extra Java CLASSPATH elements. Option...
mongodb批量更新
最新发布
10-19
MongoDB批量更新是指在一次操作中更新多个文档。在MongoDB中，可以使用BulkWrite API来实现批量更新。BulkWrite API提供了两种操作方式：有序和无序。有序操作会按照操作的顺序执行，如果其中一个操作失败，则后续的操作将不会执行。而无序操作则不保证操作的顺序，所有操作都会执行，但是不保证操作的顺序。在批量更新时，可以使用initializeUnorderedBulkOp()方法来初始化BulkWrite操作，然后使用find()方法来指定要更新的文档，最后使用update()方法来更新文档。在更新多个文档时，可以使用forEach()方法来遍历文档列表，然后使用update()方法来更新每个文档。更新完成后，可以使用execute()方法来执行批量更新操作。除此之外，还可以使用MongoTemplate和BathUpdateOptions来实现批量更新。其中，MongoTemplate是Spring Data MongoDB提供的一个操作MongoDB的模板类，BathUpdateOptions是一个批量更新选项类，可以用来指定更新的条件和更新的内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值