涂宗勋的技术博客

认真生活,快乐工作,保持理想!qq群:114308990

mongodb去除重复的数据

里边的内容在某些情况下不可行,可以参考下一篇。

今天出现了一个新的需求,有个部门需要拿到mongodb中的数据,要求去掉其中一个字段内容相同的数据。

虽然mongodb中有distinct来去重,但是和mysql的distinct不同的是,mysql中能用distinct * 返回整条记录的信息,而mongodb的distinct我却只是返回去重的那个字段的数据(或许mongodb也可以返回整条,但是我不知道)。

mysql中的distinct返回完整记录:


mongodb中distinct去重某个字段:


上边的内容并不是我想看到的结果,因此便想了一个办法,去掉重复的数据后重新保存不重复的数据到某张表中,以下是个例子:
1、进入mongo shell:
./mongo

2、切换到需要去重的集合所在的数据库:
use admin

3、在mongo shell中编写并执行js代码:
var res=db.test.find();
while(res.hasNext()){
      var res1=db.test.find(); 
      var re=res.next();
      while(res1.hasNext()){
              var re1=res1.next();
              if(re.age==re1.age){ 
                   db.test.remove({"age":re1.age}); 
               }
       } 
       db.test.insert(re); 
}



如上图,第一次执行循环的时候由于res没有定义而失败,第二次定义了res后,执行成功。那么在新的集合中,就完全没有该字段重复的数据了(这里只是测试以下,因此就用了同一个集合)。

阅读更多

扫码向博主提问

去开通我的Chat快问

tuzongxun

博客专家

三人行,必有我师。
  • 擅长领域:
  • java
  • mongodb
  • activiti
  • mysql
  • spring
版权声明:本文为【涂宗勋的技术博客】原创,若要转载,请【务必】注明出处:http://blog.csdn.net/tuzongxun https://blog.csdn.net/tuzongxun/article/details/51774537
文章标签: mongo去重
所属专栏: mongodb学习提高
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭