MongoDB的聚合框架
MongoDB的聚合框架(Aggregation Framework)是MongoDB 2.1 版本(稳定版本为MongoDB 2.2版本)中增加的新功能,可以用来实现类似于SQL的”GROUP BY”的功能。除此之外,聚合框架还可以提供了投影(projection)的功能来修改返回的结果的结构。
基本概念
在学习使用聚合框架前,我们先来了解一下聚合框架中的两个概念:管道和表达式。
管道:熟悉UNIX的可以把这个想象成UNIX中的管道。MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。
表达式:处理输入文档并输出。表达式是无状态的,只能用于计算当前聚合管道的文档,不能处理其它的文档。我们可以参考下面文档来了解聚合框架中的表达式:
http://docs.mongodb.org/manual/reference/aggregation/#aggregation-expression-operators
聚合操作
这里我们介绍一下聚合框架中常用的几个操作:
$project:修改输入文档的结构。可以用来重命名、增加或删除域,也可以用于创建计算结果以及嵌套文档。
$match:用于过滤数据,只输出符合条件的文档。$match使用MongoDB的标准查询操作。
$limit:用来限制MongoDB聚合管道返回的文档数。
$skip:在聚合管道中跳过指定数量的文档,并返回余下的文档。
$unwind:将文档中的某一个数组类型字段拆分成多条,每条包含数组中的一个值。
$group:将集合中的文档分组,可用于统计结果。
$sort:将输入文档排序后输出。
$geoNear:输出接近某一地理位置的有序文档。
更多的介绍可以参考:http://docs.mongodb.org/manual/reference/aggregation/
实例
在下面的这个例子里我们将学习如何使用MongoDB的聚合框架来处理分析数据。
首先,在Mongo Shell里运行下面的脚本在test数据库里创建一个叫articles的集合。
use test;
allAuthors = ["Bob", "Tom", "Lucy", "Steve", "Kate", "Lily"];
allTags = ["MongoDB", "Database", "Linux", "Windows", "Solaris", "Mac"];
for(var i=0; i<1000; i++){
_id = i;
title = "title" + i;
author = allAuthors[Math.floor(Math.random()*allAuthors.length)];
posted = new Date (2012,Math.floor(Math.random()*12), Math.floor(Math.random()*28));
pageViews = Math.floor(Math.random()*10001);
tags = allTags[Math.floor(Math.random()*allTags.length)];
db.articles.save({"_id":_id, "title":title, "author":author, "posted":posted, "pageViews":pageViews, "tags":[tags]});
db.articles.update({"_id": _id}, {$addToSet:{tags: {$each : [ allTags[Math.floor(Math.random()*allTags.length)], allTags[Math.floor(Math.random()*allTags.length)] ]}}});
}
这个集合存放了精简的博客的信息,包括作者、标题、查看的次数、发布时间、标签。生成的集合的文档样本如下:
{
"_id" : 0,
"author" : "Steve",
"pageViews" : 2606,
"posted" : ISODate("2012-07-31T14:00:00Z"),
"tags" : [
"MongoDB",
"Mac",
"Database"
],
"title" : "title0"
}
好了,有了这些数据,我们可以开始学习使用聚合操作了。假设我们要从2012年7月1号以及以后发布的博客里查找第二和第三热门的标签。聚合操作可以拆分成下面几步:
1、查找2012年7月1号及以后发布的博客:
{ $match : { posted : { $gte : new Date(2012-7-1) } } },
2、拆分tags数组:
{ $unwind : "$tags" },
3、将拆分的文档按tags域来分组,并统计各个标签出现的次数。$group中的_id域是分组的标准。
{ $group : { _id : "$tags", total : { $sum : 1 } } },
4、将统计结果排序:
{ $sort : { _id : -1 } },
5、跳过第一条纪录:
{ $skip : 1 },
6、只输出两条结果:
{ $limit : 2 },
7、将输出结果重新命名。
{ $project : { tags : "$_id", total : 1, _id : 0 } }
聚合操作命令如下:
db.articles.aggregate([
{ $match : { posted : { $gte : new Date(2012-7-1) } } },
{ $unwind : "$tags" },
{ $group : { _id : "$tags", total : { $sum : 1 } } },
{ $sort : { _id : -1 } },
{ $skip : 1 },
{ $limit : 2 },
{ $project : { tags : "$_id", total : 1, _id : 0 } }
])
得到的结果为:
{
"result" : [
{
"total" : 428,
"tags" : "Solaris"
},
{
"total" : 420,
"tags" : "MongoDB"
}
],
"ok" : 1
}
需要注意的是聚合操作返回的结果是一个文档,所以受到BSON文档大小的限制,目前的限制为16兆。
MongoDB的文档里还介绍了一些聚合框架的例子,大家可以参考下面链接里的例子来进一步的学习聚合框架:http://docs.mongodb.org/manual/tutorial/aggregation-examples/
这篇博客介绍了MongoDB聚合框架的概念、用途、基本操作了一个例子,在未来的博客里,还将介绍聚合操作的性能优化和在分片集群中的操作。