Mongodb去重

最新推荐文章于 2024-07-12 06:34:22 发布

buside

最新推荐文章于 2024-07-12 06:34:22 发布

阅读量5k

点赞数

分类专栏： Mongodb

本文链接：https://blog.csdn.net/buside/article/details/81745473

版权

Mongodb 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

在编写python将文件写入到Mongo数据库时，每次运行一遍数据，数据库中都会重写一遍数据，这显然不是我们希望看到的。结合MongoDB + Robo 3T可以实现数据去重，只需要在Robo3T中运行代码

db.getCollection('数据表名称').aggregate([{$group:{_id:{字段名:'$字段名'}, count:{$sum:1}, dups:{$addToSet: '$_id'}}},{$match:{count:{$gt:1}}}]).forEach(function(doc){doc.dups.shift();db.getCollection('数据表名称').remove({_id: {$in: doc.dups}});})

只需要在Robo3T可视化界面中将上述代码输入，替换<数据表名称>和<字段名>即可