有时候mongodb集合中有一些重复数据,我们该如何删除呢?
多条记录按照关键字进行分组,如果_id的个数大于1即是重复数据,
针对重复数据,遍历删除,最后只保留一个
db.getCollection('statis_user_follow').aggregate([
{
"$match":{"agency_id":2,"app_id":1,"uid":{$gte:1000000, $lt:5000000}}
},
{
"$group":{"_id":"$uid","count":{"$sum":1},"dups":{$addToSet:"$_id"}}
},
{
"$match":{"count":{"$gt":1}}
}
],
{
"allowDiskUse":true
}).forEach(function(doc){
doc.dups.pop();
db.statis_user_follow.remove({"_id":{$in:doc.dups}});
});
- 根据uid分组并统计数量,$group只会返回参与分组的字段,使用$addToSet在返回结果数组中增加_id字段
- 使用$match匹配数量大于1的数据
- doc.dups.pop();表示从数组最后一个值开始删除;作用是弹出数组的最后一个_id,根据数组中剩余的_id删除所有重复的数据
- 使用forEach循环根据关键字重复的行来删除数据
- $addToSet 操作符只有在字段不存在于数组中时才会向数组中添加一个字段。如果字段已经存在于数组中,$addToSet返回,不会修改数组。
- allowDiskUse指示符,表示在聚合任何阶段是否因内存超出限制而将数据写入临时文件。
- 注意:forEach和$addToSet的驼峰写法不能全部写成小写,因为mongodb严格区分大小写