mongodb E11000 duplicate key error的几个可能的原因

最新推荐文章于 2023-08-10 11:47:45 发布

进击的小菜鸡dd

最新推荐文章于 2023-08-10 11:47:45 发布

阅读量5.9k

点赞数 1

文章标签： mongodb duplicate 数据重复

本文链接：https://blog.csdn.net/gosline/article/details/88919711

版权

在执行MongoDB聚合操作时遇到E11000 duplicate key error错误。可能原因包括数据库中存在的重复数据以及在聚合过程中未正确处理唯一标识符。解决方案包括按数据量大小删除重复数据，或在聚合时通过$project忽略_id字段以生成新_id，防止冲突。

摘要由CSDN通过智能技术生成

assert: command failed: {
	"ok" : 0,
	"errmsg" : "insert for $out failed: { connectionId: 65, err: \"E11000 duplicate key error collection: admin.tmp.agg_out.6 index: _id_ dup key: { : 1 }\", code: 11000, codeName: \"DuplicateKey\", n: 0, ok: 1.0 }",
	"code" : 16996,
	"codeName" : "Location16996"
} : aggregate failed

最近在做聚合(aggreate)处理时总是报以上的错误，现在分析可能导致其发生几个原因
1. 数据库中存在重复数据
当存在重复数据时，我们需要对重复的数据保留一条外删除其余的重复文档数据(document)，我们可以根据数据量的大小来使用不同的方法对重复数据进行删除
1.1 当数据量较小时(具体不好把握，大约几万几十万条吧)，我们可以这样处理(以下dbname为表名，fieldname为字段名)：

var duplicates = [];

db.dbname.aggregate([
  { $group: { 
    _id: { fieldname: "$fieldname"}, // 根据一个或多个字段进行分组，字段相同的document为一组
    dups: { "$addToSet": "$_id" }, //将字段相同的document的_id放在一个列表中
    count: { "$sum": 1 }  //统计相同do