Mongodb插入数据出现：E11000 duplicate key error collection:错误解决方案！

最新推荐文章于 2023-08-10 11:47:45 发布

weixin_34378969

最新推荐文章于 2023-08-10 11:47:45 发布

阅读量4.6k

点赞数

文章标签：数据库 python json

原文链接：https://my.oschina.net/u/3826227/blog/1826251

版权

2019独角兽企业重金招聘Python工程师标准>>>

今天在保存数据到Mongodb的时候出现E11000 duplicate key error collection:错误

所有数据只有第一条可以正确insert

E11000 duplicate key error collection:所提示的错误为集合唯一主键重复了。

明明MongoDB的唯一主键是根据时间戳自动生成的，怎么会重复了。

在网上找了很久，也没有找到解决方案。

最终，排除法 ...

出现主键重复的原因：

数据重复。
自定义了唯一主键，并重复。

第二条可以排除了。那么是不是第一条原因呢？

从表面上来看的话，第一条也是可以排除的。但是，MongoDB有自己的识别机制。虽然从表面上看数据不是重复的，但是它的ID是不是重复的呢？

为进一步验证了一下, 其结果就是....所有数据ID都是一样的。为什么呢？

因为我使用的是for，而且遍历了一个generator. 而这个generator是yield生成传递过来的，而且yield传递过来的数据是.....

好吧，不多说了，直接写解决方案....下班时间过了一小时了...回家 = - =

解决方案：

其实，解决方案非常简单...

from copy import deepcopy

然后在yield数据的时候，把数据deepcopy一下，完美解决.....

喔....好饿....

回家次饭.....

转载于:https://my.oschina.net/u/3826227/blog/1826251

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34378969

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Spring Data MongoTemplate insert 插入数据报duplicate key的问题

悟已往之不谏，知来者之可追

11-02

490

跟着 MongoTemplate API 的 insert 方法，最后看到 populateIdIfNecessary 这个方法，当 BizOrder 插入时候的 id 为空的时候，Spring Data Mongo Template 会把 MongoDB 自动生成的 id，赋值到 BizOrder 对象实例中。如果这个时候，你仍然使用这个 BizOrder 对象去插入，那么，MongoDB 会先检查 BizOrder 的 id，结果发现库里已经有了这个 id，所以会抛出重复 id 主键的异常。

MongoDB报错：E11000 duplicate key error collection

weixin_43762903的博客

08-03

1万+

在最近做的项目之中，后端数据库部分使用MongoDB。在使用中发现了如下问题：添加第一条数据时可以正常添加，第二条数据便无法添加。（无论在可视化工具中进行添加或者使用POSTMAN均无法正常添加）将错误信息打印，如下图所示：先说一下该条错误的中文意思：就是说该条数据的id_1这个键的值为null，而第一条数据中的id_1已经为null，两条数据出现id重复，因此报错。出现该条错误的可能原...

参与评论您还未登录，请先登录后发表或查看评论

遇到的坑-pymongo报错：DuplicateKeyError: E11000 duplicate key error collection

菜鸡的博客

04-25

3536

具体报错如下 Traceback (most recent call last): pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: DDbook.book index: _id_ dup key: { _id: "114" } 错误原因：在使用pymongo存入数据库时，要写入的主键_id（Mon...

mongoose中报错 MongoError: E11000 duplicate key error collection、 code: 11000

柠檬不萌只是酸i

12-04

2815

问题描述： MongoError: E11000 duplicate key error collection: test.elementusers index: username_1 dup key: { username: "admin" } at Function.create (/Users/liangrumeng/Documents/HBuilderProjects/wor...

解决Mongoose出现MongoServerError: E11000 duplicate key error collection的报错

2301_76272533的博客

07-30

2385

因为是用mongoose开发的嘛，所以我们可以去mongoose文档看看有没有有关这种错误的处理。错误信息的关键信息在于，而当时我是在用Validation给SchemaType做校验，而刚好文档里又说到unique不是一个校验器，那么它必然会给出处理使用unique出现的错误处理。文档给出了当出现了该如何处理，而也是受到这个启发，我就对做了处理。== - 1);});用try catch捕捉异常错误，捕捉到的错误有两种情况：一种是重复键的问题，另一种是mongoose内置的校验器设置的错误。

出现E11000 duplicate key error collection: 数据库名称.数据表 index: mobile（参数）_1 dup key: { mobile：null}

热门推荐

咖啡的博客

08-14

3万+

解决mongodb id 重复问题 mongodb在插入数据时出现id重复错误,具体错误代码如下: { [MongoError: E11000 duplicate key error collection: zhihu.people index: _id_ dup key: { : ObjectId('59a3b9275f063c20cc8bdec7') }] name: 'MongoE...

mongodb E11000 duplicate key error的几个可能的原因

gosline的博客

03-30

5951

assert: command failed: { "ok" : 0, "errmsg" : "insert for $out failed: { connectionId: 65, err: \"E11000 duplicate key error collection: admin.tmp.agg_out.6 index: _id_ dup key: { : 1 }\", code: 11...

MONGODB使用主键进行upsert操作报主键重复异常（E11000 duplicate key error）

weixin_43682629的博客

06-09

3945

MONGODB使用主键进行upsert操作报主键重复异常（E11000 duplicate key error）出现背景代码报错信息原因解决方法出现背景在多线程高并发对一个collection操作upsert的时候，报错。代码 Query q = new Query(Criteria.where("_id").is("xxx")); Update update = new Update(); update.set("_id",diffResponse.getSysNo()); update.set("

Python MongoDB 插入数据时已存在则不执行，不存在则插入的解决方法

09-09

首先，出现错误`E11000 duplicate key error`通常是由于MongoDB的唯一性索引导致的，当尝试插入的数据中包含重复的唯一键时，系统会抛出此错误。例如，在案例中，日志的`_id`字段作为主键重复，导致无法插入新数据。...

问题：使用mongo存储数据的时候，出现错误DuplicateKeyError: E11000 duplicate key error collection

CaoMei_HuaCha的博客

03-06

4447

for i in all_data: down_list = [] now_time = utility.get_this_time() for one_data in i: on_list = [] new_list = async_real_time_data(one_data) ...

MongoError: E11000 duplicate key error collection: blog.users index: email_1 dup key

道阻且长，行则将至。

08-12

595

MongoError: E11000 duplicate key error collection: blog.users index: email_1 dup key 报错如下：原因：之前在数据库中已经创建了一个email跟这个一样的用户，因此会导致报错。解决办法：改变一下你现在创建的这个用户的email就OK了 ...

mongo E11000 duplicate key error collection

点点滴滴

03-08

1748

其实写这个文章不是为了分享,是为了记录自己的这个问题,这个问题查了很久,大约花费了4h. 讲述一下过程: 因为数据要做初始化,我就在库里面做了几百万的数据初始化,然后开始使用kafka接增量数据,然后发现工程一直报错 1.我没有用id自动生成,而是把它变成了有意义的业务字段的数据 2.然后开始了E11000 duplicate key error collection这个重复报错 3.检查代码发现逻辑没有问题 4.debug ...

MongoError: E11000 duplicate key error collection: qiandao.assets index: _id

乾复道

01-10

488

MongoError: E11000 duplicate key error collection: qiandao.assets index: _id 这个问题出现在mongo插入数据时，原因是主键_id重复；众所周知，mongo在插入数据时，会自动生成主键_id,但是当我们操作async.eachSeries方法，插入数据时，会导致多个数据生成相同_id； 解决方案：自己生成一个_i...

mongolass插入第二条数据时报错E11000 duplicate key error collection

ruby_xc的博客

04-16

916

第一次使用mongolass 插入用户模型的第二条数据时就报错了: E11000 duplicate key error collection: test.users index: account_1 dup key: { : null } 说是account_1重复了, 但是模型中并没有这个键, 这个键是我之前设置的, 后来已经删除了我清空数据后插入还是一样插入第二条就报错了后来删...

E11000 duplicate key error collection

shiwei77的博客

09-23

1359

mongodb在插入数据时出现id重复错误参考文档 mongodb出现E11000 duplicate key error collection(id重复的解决办法)

BUG：pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection的原因和解决方案

Refrain__WG的博客

09-01

1万+

BUG：pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection的原因和解决方案 一. BUG描述：使用Scrapy把数据添加到mongodb时，无法添加，抛出异常如下： pymongo.errors.DuplicateKeyError: E11000 duplicate key error collec...

关于MongoDb出现com.mongodb.MongoWriteException: E11000异常

weixin_43862280的博客

11-03

4891

关于MongoDb出现com.mongodb.MongoWriteException: E11000异常解决最佳方案 mongo原生的_id生成策略是: 时间戳+主机+进程号+序列组成出现的原因根本的原因:是重写了MongoDb生成_id的策略,这种情况在$group中很常见的错误,例如下面 $group { _id: { status:"$status" zone:"$zone", messagetype:"$messagetype" }, count: {

MongoDB 在 upsert=True 时，filter和唯一键一致，并发情况下会报错：E11000 duplicate key error collection 怎么解决？

jiangbo721的博客

01-11

1411

但是在高并发的情况下，我们会有多个服务同时更新同一个collection，操作都是update_one + upsert=true 来完成的，但是每隔一段时间，服务就会报错，提示 E11000 duplicate key error collection。我已经创建了一个复合索引，并使用搜索条件将其设置为唯一，这样，在集合中，如果搜索到的内容，我搜索的内容将始终唯一。所以嘛，是再mongo库执行upsert的时候并发插入导致的唯一键冲突。查询不到就插入，查询到了就更新，那会有什么问题呢？