根据某个字段查找重复数据--MySQL和MongoDB

记录一个在工作中遇到的一个场景：数据规则是根据某个字段作为唯一标识存储数据，但是在业务使用中发现有重复数据，需要把这些数据筛查出来。

 

下面分别以MySQL和MongoDB来举例说明：

 

MySQL

根据user表中的code字段查找重复数据

select code,count(*) from user group by code having count(*) > 1;

 

MongoDB

mongo中也是user表，根据code来找重复数据

db.getCollection('user').aggregate([    { $group: { _id : '$code', count: { $sum : 1 } } },    { $match: { count: { $gt : 1} } }])

 

注：如果Mongo表中数据量过多的话，这个语句直接查询可能会报错。报错如图所示：

 

原因是MongoDB的聚合的结果必须要限制在16M以内。所以要加一个参数allowDiskUse:true

 

所以，如果数据量多的话需要用下面的语句：

db.getCollection('user').aggregate([    { $group: { _id : '$code', count: { $sum : 1 } } },    { $match: { count: { $gt : 1} } }],{allowDiskUse:true})

 

 

 

---

the end~