mongodb如何删除集合中的重复数据

有时候mongodb集合中有一些重复数据，我们该如何删除呢？

多条记录按照关键字进行分组，如果_id的个数大于1即是重复数据，

针对重复数据，遍历删除，最后只保留一个

db.getCollection('statis_user_follow').aggregate([
{
    "$match":{"agency_id":2,"app_id":1,"uid":{$gte:1000000, $lt:5000000}}
},
{
    "$group":{"_id":"$uid","count":{"$sum":1},"dups":{$addToSet:"$_id"}}
},
{
    "$match":{"count":{"$gt":1}}
}
],
{
    "allowDiskUse":true
}).forEach(function(doc){
     doc.dups.pop();
     db.statis_user_follow.remove({"_id":{$in:doc.dups}});
  });

1. 根据uid分组并统计数量，$group只会返回参与分组的字段，使用$addToSet在返回结果数组中增加_id字段
2. 使用$match匹配数量大于1的数据
3. doc.dups.pop();表示从数组最后一个值开始删除；作用是弹出数组的最后一个_id，根据数组中剩余的_id删除所有重复的数据
4. 使用forEach循环根据关键字重复的行来删除数据
5. $addToSet 操作符只有在字段不存在于数组中时才会向数组中添加一个字段。如果字段已经存在于数组中，$addToSet返回，不会修改数组。
6. allowDiskUse指示符，表示在聚合任何阶段是否因内存超出限制而将数据写入临时文件。
7. 注意：forEach和$addToSet的驼峰写法不能全部写成小写，因为mongodb严格区分大小写