查询某个字段包含某个值_【记录】根据某个字段查找重复数据MySQL和MongoDB

记录一个在工作中遇到的一个场景:数据规则是根据某个字段作为唯一标识存储数据,但是在业务使用中发现有重复数据,需要把这些数据筛查出来。下面分别以MySQL和MongoDB来举例说明: MySQL 根据user表中的code字段查找重复数据
select code,count(*) from user group by code having count(*) > 1;
MongoDB mongo中也是user表,根据code来找重复数据
db.getCollection('user').aggregate([    { $group: { _id : '$code', count: { $sum : 1 } } },    { $match: { count: { $gt : 1} } }])
注:如果Mongo表中数据量过多的话,这个语句直接查询可能会报错。报错如图所示:

d7f165dcc6324d3bb6073ed8977d2051.png

原因是MongoDB的聚合的结果必须要限制在16M以内。所以要加一个参数 allowDiskUse:true所以,如果数据量多的话需要用下面的语句:
db.getCollection('user').aggregate([    { $group: { _id : '$code', count: { $sum : 1 } } },    { $match: { count: { $gt : 1} } }],{allowDiskUse:true})

the end~

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值