MongoDB + Robo 3T数据去重

Robo 3T是MongoDB数据库的可视化界面软件。 
爬虫时会因为某些原因，导致抓取的数据会有重复的。 
除了在代码中处理去重，我们可以动动手指即可实现去重处理。 
因此，我们可以指定字段来去重。 
只需在Robo 3T可视化界面中输入一下代码即可：

db.getCollection('数据表名称').aggregate([{$group:{_id:{字段名:'$字段名'}, count:{$sum:1}, dups:{$addToSet: '$_id'}}},{$match:{count:{$gt:1}}}]).forEach(function(doc){doc.dups.shift();db.getCollection('数据表名称').remove({_id: {$in: doc.dups}});})

运行代码，即可实现数据去重。

此方法在数据量不是很大的情况下可行，但是数据量大了就不好用了，具体界限没有测试，数据量大的情况下可参考：Python 操作 mongodb 亿级数据量使用 Bloomfilter 高效率判断唯一性 例子

 

via:https://blog.csdn.net/qq_17249717/article/details/81433587