mongodb 索引去重_mongoDB删除重复的数据 去重

最近在工作上遇到需要清理鸡汤文中重复的数据，网上搜了一下，有不少方案，有用程序去重的，有用唯一索引来控制的，感觉都不是很方便，后来发现用下面这个非常方便；

db.Passages.aggregate([

{

$group:{_id:{content:'$content',endTime:'$endTime',startTime:'$startTime'},count:{$sum:1},dups:{$addToSet:'$_id'}}

},

{

$match:{count:{$gt:1}}

}

]).forEach(function(it){

it.dups.shift();

db.Passages.remove({_id: {$in: it.dups}});

});

下面来解析：

使用aggregate聚合查询重复数据

$group中是查询条件，根据content、endTime、startTime字段来聚合相同的数据；

$count用来统计重复出现的次数， $match来过滤没有重复的数据；

$addToSet将聚合的数据id放入到dups数组中方便后面使用；

查询结果使用forEach进行迭代id来删除数据

shift()作用是剔除队列中第一条id，避免删掉所有的数据；

PS:注意函数的大小写，mongoDB是严格区分大小写的！！！

今天发版本执行脚本的时候发现在mongo2.4x的版本下面执行报错：

MongoDB shell version: 2.4.9

connecting to: 192.168.xxx.xxx:27017/xxx

Tue Apr 3 18:41:26.268 TypeError: Object [object Object] has no method 'forEach' at xxx.js:11

failed to load: xxx.js

先开始以为是2.4x版本如果没有查到重复数据造成forEach报错，加上try、catch手动捕获异常避免脚本执行失败，后来检查数据发现有重复数据的也依然进异常了，这下就懵逼了，难道2.4x版本aggregat返回的数据跟3.x版本的还不一样？

var list = db.Passages.aggregate([

{

$group:{_id:{content:'$content',endTime:'$endTime',startTime:'$startTime'},count:{$sum:1},dups:{$addToSet:'$_id'}}

},

{

$match:{count:{$gt:1}}

}

]);

print([JSON.stringify(list));

最后把查出的数据打印出来，发现返回的都是一个json对象不是数组，2.4x版本的数据是放在reslut字段下的，而3.x是放在·_batch·字段下(至于为什么可以直接forEach有待研究)，当时心中一万只xxx奔腾而过，抱怨归抱怨bug还是要改的，当然就只能先判断一下版本罗。

经过反复修改测试，下面是最终修改结果。

var list = db.Passages.aggregate([

{

$group:{_id:{content:'$content',endTime:'$endTime',startTime:'$startTime'},count:{$sum:1},dups:{$addToSet:'$_id'}}

},

{

$match:{count:{$gt:1}}

}

]);

if(list._batch!=undefined){

print('v3.4....')

list.forEach(function(it){

it.dups.shift();

db.Passages.remove({_id: {$in: it.dups}});

});

}else{

print('v.2.4....')

list.result.forEach(function(it){

it.dups.shift();

db.Passages.remove({_id: {$in: it.dups}});

});

}