mongodb 学习笔记五 MapReduce

英文原文:http://www.mongodb.org/display/DOCS/MapReduce

MapReduce在mongodb中使用主要做为批处理数据和聚合操作,比较像Hadoop,所有的输入来自一个结合,所有的输出到一个集合,更像是传统关系数据库中的group聚合操作,mapreduce是一个很有用的工具在mongodb中。

在mongodb中索引和标准的查询很大程度上依赖于map/reduce,如果你在过去使用过CouchDB ,注意couchdb和mongodb是很大不同的,mongodb中的索引和查询更像是mysql中的索引与查询。

map/reduce 是mongodb的一个命令接口,特别是用在集合的输出操作上效果更佳,map和reduce函数通过javascript来编写,然后在服务器中执行,命令格式语法如下

db.runCommand(
 { mapreduce : <collection>,
   map : <mapfunction>,
   reduce : <reducefunction>
   [, query : <query filter object>]
   [, sort : <sorts the input objects using this key. Useful for optimization, like sorting by the emit key for fewer reduces>]
   [, limit : <number of objects to return from collection>]
   [, out : <see output options below>]
   [, keeptemp: <true|false>]
   [, f
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MongoDB的聚合函数mapreduce是一种用于处理大规模数据的方法,它可以将数据集合分成多个小块进行处理,并将结果合并起来生成最终的输出。mapreduce包含两个部分:map和reduce。 map函数是对数据集合进行初步处理的函数,它接收一个文档作为输入,并对文档中的数据进行处理,生成一个键值对作为输出。reduce函数则是对map函数生成的键值对进行处理的函数,它接收一个键和一组相关的值作为输入,并对这些值进行处理,生成一个新的键值对作为输出。 在MongoDB中,mapreduce函数可以通过db.collection.mapReduce()方法进行调用。该方法接收四个参数:map函数、reduce函数、输出集合的名称和一个可选的参数对象。其中,参数对象可以包含过滤条件、排序规则、限制条件等。 下面是一个简单的示例,假设我们有一个名为orders的集合,其中包含以下文档: ``` { "_id" : ObjectId("5f274c4d6d68650a3015a1c1"), "customer" : "Alice", "total" : 10 } { "_id" : ObjectId("5f274c4d6d68650a3015a1c2"), "customer" : "Bob", "total" : 20 } { "_id" : ObjectId("5f274c4d6d68650a3015a1c3"), "customer" : "Charlie", "total" : 30 } ``` 我们可以通过以下代码使用mapreduce函数对数据进行处理: ``` db.orders.mapReduce( function() { emit(this.customer, this.total); }, function(key, values) { return Array.sum(values); }, { out: "order_totals" } ) ``` 这个代码会根据每个文档的customer字段将数据分组,并将每个文档的total字段作为值。map函数生成的键值对会传递给reduce函数进行处理,最终将生成一个名为order_totals的输出集合,其中包含以下文档: ``` { "_id" : "Alice", "value" : 10 } { "_id" : "Bob", "value" : 20 } { "_id" : "Charlie", "value" : 30 } ``` 这个例子只是mapreduce函数的一个简单示例,实际上它的应用非常广泛,可以处理大规模数据、生成复杂的报表等。但是,在使用mapreduce函数时需要注意一些性能问题,例如map函数的执行时间、reduce函数的复杂度等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值