PyMongo使用入门(二)

聚合管道和MapReduce知识点

import pymongo
from bson import Code
from pymongo import MongoClient
from bson.objectid import ObjectId
from bson.son import SON
import datetime


client = MongoClient('localhost', 27017)
db = client.PymongoDemo

"""result = db.things.insert_many([{"x": 1, "tags": ["dog", "cat"]},
                              {"x": 2, "tags": ["cat"]},
                              {"x": 2, "tags": ["mouse", "cat", "dog"]},
                              {"x": 3, "tags": []}])

print(result.inserted_ids)"""


"""
管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。
MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。
表达式：处理输入文档并输出。表达式是无状态的，只能用于计算当前聚合管道的文档，不能处理其它的文档。

$project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。
$match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。
$limit：用来限制MongoDB聚合管道返回的文档数。
$skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。
$unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。
$group：将集合中的文档分组，可用于统计结果。
$sort：将输入文档排序后输出。
$geoNear：输出接近某一地理位置的有序文档。
"""
pipeline = [
     {"$unwind": "$tags"},
     {"$group": {"_id": "$tags", "count": {"$sum": 1}}},
     {"$sort": SON([("count", -1), ("_id", -1)])}
     ]

"""以上实例类似sql语句： select tags, count(*) from things group by tags"""
print(list(db.things.aggregate(pipeline)))

"""使用command()方法 要运行这种聚合的执行计划："""
print(db.command('aggregate', 'things', pipeline=pipeline, explain=True))

print("-"*20)

mapper = Code("""
               function () {
                  this.tags.forEach(function(z) {
                  emit(z, 1);
                 });
               }
                """)

reducer = Code("""
                function (key, values) {
                  var total = 0;
                  for (var i = 0; i < values.length; i++) {
                    total += values[i];
                  }
                  return total;
                }
                """)

"""最后我们调用map_reduce()和遍历结果集"""
result = db.things.map_reduce(mapper, reducer, "myresults")
for doc in result.find():
    print(doc)
print("-"*20)
#高级 Map/Reduce
db.things.map_reduce(mapper, reducer, "myresults", full_response=True)

result = db.things.map_reduce(mapper, reducer, "myresults", query={"x": {"$lt": 2}})
for doc in result.find():
    print(doc)
print("-"*20)
# db.things.map_reduce(mapper, reducer, out=SON([("replace", "results"), ("db", "outdb")]), full_response=True)

"""
group()方法提供了一些相同的功能SQL的GROUP BY。比map reduce简单，需要提供一个键到分组，作为聚集的初始值和reduce函数。
"""
reducer = Code("""
                function(obj, prev){
                  prev.count++;
                }
                """)
results = db.things.group(key={"x":1}, condition={}, initial={"count": 0}, reduce=reducer)
for doc in results:
    print(doc)

运行结果如图: