mongodb E11000 duplicate key error的几个可能的原因

assert: command failed: {
	"ok" : 0,
	"errmsg" : "insert for $out failed: { connectionId: 65, err: \"E11000 duplicate key error collection: admin.tmp.agg_out.6 index: _id_ dup key: { : 1 }\", code: 11000, codeName: \"DuplicateKey\", n: 0, ok: 1.0 }",
	"code" : 16996,
	"codeName" : "Location16996"
} : aggregate failed

最近在做聚合(aggreate)处理时总是报以上的错误，现在分析可能导致其发生几个原因
1. 数据库中存在重复数据
当存在重复数据时，我们需要对重复的数据保留一条外删除其余的重复文档数据(document)，我们可以根据数据量的大小来使用不同的方法对重复数据进行删除
1.1 当数据量较小时(具体不好把握，大约几万几十万条吧)，我们可以这样处理(以下dbname为表名，fieldname为字段名)：

var duplicates = [];

db.dbname.aggregate([
  { $group: { 
    _id: { fieldname: "$fieldname"}, // 根据一个或多个字段进行分组，字段相同的document为一组
    dups: { "$addToSet": "$_id" }, //将字段相同的document的_id放在一个列表中
    count: { "$sum": 1 }  //统计相同do