MongoDB的聚合框架

MongoDB的聚合框架

MongoDB的聚合框架（Aggregation Framework）是MongoDB 2.1 版本（稳定版本为MongoDB 2.2版本）中增加的新功能，可以用来实现类似于SQL的”GROUP BY”的功能。除此之外，聚合框架还可以提供了投影（projection）的功能来修改返回的结果的结构。

基本概念

在学习使用聚合框架前，我们先来了解一下聚合框架中的两个概念：管道和表达式。

管道：熟悉UNIX的可以把这个想象成UNIX中的管道。MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。

表达式：处理输入文档并输出。表达式是无状态的，只能用于计算当前聚合管道的文档，不能处理其它的文档。我们可以参考下面文档来了解聚合框架中的表达式：

http://docs.mongodb.org/manual/reference/aggregation/#aggregation-expression-operators

聚合操作

这里我们介绍一下聚合框架中常用的几个操作：

$project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。

$match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。

$limit：用来限制MongoDB聚合管道返回的文档数。

$skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。

$unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。

$group：将集合中的文档分组，可用于统计结果。

$sort：将输入文档排序后输出。

$geoNear：输出接近某一地理位置的有序文档。

更多的介绍可以参考：http://docs.mongodb.org/manual/reference/aggregation/

实例

在下面的这个例子里我们将学习如何使用MongoDB的聚合框架来处理分析数据。

首先，在Mongo Shell里运行下面的脚本在test数据库里创建一个叫articles的集合。

use test;
allAuthors = ["Bob", "Tom", "Lucy", "Steve", "Kate", "Lily"];
allTags = ["MongoDB", "Database", "Linux", "Windows", "Solaris", "Mac"];
for(var i=0; i<1000; i++){
_id = i;
title = "title" + i;
author = allAuthors[Math.floor(Math.random()*allAuthors.length)];
posted = new Date (2012,Math.floor(Math.random()*12), Math.floor(Math.random()*28));
pageViews = Math.floor(Math.random()*10001);
tags = allTags[Math.floor(Math.random()*allTags.length)];
db.articles.save({"_id":_id, "title":title, "author":author, "posted":posted, "pageViews":pageViews, "tags":[tags]});
db.articles.update({"_id": _id}, {$addToSet:{tags: {$each : [ allTags[Math.floor(Math.random()*allTags.length)], allTags[Math.floor(Math.random()*allTags.length)] ]}}});
}

这个集合存放了精简的博客的信息，包括作者、标题、查看的次数、发布时间、标签。生成的集合的文档样本如下：

{
	"_id" : 0,
	"author" : "Steve",
	"pageViews" : 2606,
	"posted" : ISODate("2012-07-31T14:00:00Z"),
	"tags" : [
		"MongoDB",
		"Mac",
		"Database"
	],
	"title" : "title0"
}

好了，有了这些数据，我们可以开始学习使用聚合操作了。假设我们要从2012年7月1号以及以后发布的博客里查找第二和第三热门的标签。聚合操作可以拆分成下面几步：

1、查找2012年7月1号及以后发布的博客：

{ $match : { posted : { $gte : new Date(2012-7-1) } } },

2、拆分tags数组：

{ $unwind : "$tags" },

3、将拆分的文档按tags域来分组，并统计各个标签出现的次数。$group中的_id域是分组的标准。

{ $group : { _id : "$tags", total : { $sum : 1 } } },

4、将统计结果排序：

{ $sort : { _id : -1 } },

5、跳过第一条纪录：

{ $skip : 1 },

6、只输出两条结果：

{ $limit : 2 },

7、将输出结果重新命名。

{ $project : { tags : "$_id", total : 1, _id : 0 } }

聚合操作命令如下：

db.articles.aggregate([
{ $match : { posted : { $gte : new Date(2012-7-1) } } },
{ $unwind : "$tags" },
{ $group : { _id : "$tags", total : { $sum : 1 } } },
{ $sort : { _id : -1 } },
{ $skip : 1 },
{ $limit : 2 },
{ $project : { tags : "$_id", total : 1, _id : 0 } }
])

得到的结果为：

{
	"result" : [
		{
			"total" : 428,
			"tags" : "Solaris"
		},
		{
			"total" : 420,
			"tags" : "MongoDB"
		}
	],
	"ok" : 1
}

需要注意的是聚合操作返回的结果是一个文档，所以受到BSON文档大小的限制，目前的限制为16兆。

MongoDB的文档里还介绍了一些聚合框架的例子，大家可以参考下面链接里的例子来进一步的学习聚合框架：http://docs.mongodb.org/manual/tutorial/aggregation-examples/

这篇博客介绍了MongoDB聚合框架的概念、用途、基本操作了一个例子，在未来的博客里，还将介绍聚合操作的性能优化和在分片集群中的操作。