百万数量级的MongoDB去重操作

最新推荐文章于 2024-01-04 20:44:37 发布

置顶

Casey_l

最新推荐文章于 2024-01-04 20:44:37 发布

阅读量306

点赞数 1

文章标签： MongoDB去重操作

本文链接：https://blog.csdn.net/qq_40638401/article/details/102549820

版权

这篇博客探讨了如何在MongoDB中处理百万数量级的数据去重问题，包括查询数据中的重复项以及进行大规模数据的去重操作。适合MongoDB初学者参考。

摘要由CSDN通过智能技术生成

百万数量级的MongoDB去重操作

- - 查询数据中是否有重复的数据：
  - 百万级数据去重操作：

最近自己有一份MongoDB的数据需要去重，但是发下直接运行以前的去重命令发现报错，通过查看报错信息发现报错原因为超出了MongoDB的内存的限制，通过查阅资料整理，终于解决了问题，下面奉上代码供大家参考。

查询数据中是否有重复的数据：

	.aggregate([
    { $group: { _id : '$店铺id', count: { $sum : 1 } } },
    { $match: { count: { $gt : 1} } }
])

上诉代码段 $店铺id 对应的是需要查询的字段名。

百万级数据去重操作：

 db.getCollection('店铺链接_test').aggregate([
    {
        $group: { _id: {店铺id: '$店铺id'},count: {$sum: 1},dups: {$addToSet: '$_id'}}
    },
    {
        $match: {count: {$gt: 1}}
    }
	],{allowDiskUse: true}).forEach( //（使用forEach循环根据_id删除数据）
    function(doc){ 
        doc.dups.shift(); 
        db.getCollection('店铺链接_test').remove(
            {
                _id: {
                    $in: doc.dups
                }