mongodb-对数据去重后再进行统计 group

mongodb 对数据去重后再进行统计

chenwch

自身是mongo小白，对此问题，浏览好多博客文档，都没有找到太好的答案，汇总一下：

distinct 只是去重，并不会统计，返回的是列表，如下

db.clct.distinct("a");

返回：

"1",
"14",
"15",
"16",
"18"

如果需要进行分组统计，可以用$group

db.clct.aggregate([
　　{$group:{_id:"$a",count:{$sum:1}}}
]);

返回：

{ "_id" : "56", "count" : 12 }
{ "_id" : "53", "count" : 386 }
{ "_id" : "55", "count" : 547946 }
{ "_id" : "52", "count" : 4979002 }
{ "_id" : "180857", "count" : 54232 }
{ "_id" : "51", "count" : 1989388 }
{ "_id" : "50", "count" : 263998 }

说回原题，在数据量比较小的情况下，可以用以下方式进行去重后统计，如下

db.clct.aggregate([
    {$match: {actid:"99"}},
    {$group: {_id: "$a"}},
    {$group: {_id: 1, count: {$sum: 1}}}
])

原理是，先使用第一个分组对指定键上的所有值去重，然后使用第二个分组统计这些值。

但是数据量较大的话，就会报Exceeded memory limit for $group, but didn't allow external sort. Pass allowDiskUse:true to opt in.错，大体意思是超出内存限制。

目前还没有找到针对数据量较大的情况下的办法，有好心的可以提供一下解决办法，多谢！！！！

 

多字段聚合

mongodb利用aggregate聚合group by多个字段

不屑哥

var result = db.orderMain.aggregate([
{$match:{
partnerId:{$eq:"aaa"}
}},
{$group:{
_id:{
    partnerId:"$partnerId",
    clientCode:"$shipper.clientCode",
    clientName:"$shipper.clientName",
    merchantName:"$shipper.contacts"}
}
}
])

//边读边取插入
while(result.hasNext()){
var next = result.next();
db.新建表.insert({
    _id:new ObjectId(),
    partnerId: next._id.partnerId,
    clientCode: next._id.clientCode,
    clientName: next._id.clientName,
    merchantId: new ObjectId(),
    merchantName: next._id.merchantName
})

$match先根据条件匹配数据

$group指定了多个字段进行筛选