mongdb mapReduce聚合操作

1、数据准备

请看group操作

 

2、mapReduce名词解释

mapReduce 随着"大数据"概念而流行.其实mapReduce的概念非常简单,从功能上说,相当于RDBMS的 group 操作

mapReduce的真正强项在哪?
答:在于分布式,当数据非常大时,像google,有N多数据中心,数据都不在地球的一端,用group力所不及.

group既然不支持分布式,单台服务器的运算能力必然是有限的.而mapRecuce支持分布式,支持大量的服务器同时工作,用蛮力来统计.

mapRecuce的工作过程:
  map-->映射
  reduce->归约

map: 先是把属于同一个组的数据,映射到一个数组上.cat_id-3 [23,2,6,7]
reduce: 把数组(同一组)的数据,进行运算.

 

3、mapReduce实操

1、用mapReduce计算每个栏目的库存总量
map函数
var map = function() {
    emit(this.cat_id,this.goods_number);
    }
var reduce = function(cat_id,numbers) {
    return Array.sum(numbers);
}
db.goods.mapReduce(map,reduce,{out:'res'});

2、用mapReduce计算每个栏目下商品的平均价格
var map = function() {
    emit(this.cat_id,this.shop_price);
    }
var reduce = function(cat_id,values) {
    return Array.avg(values);
}
db.goods.mapReduce(map,reduce,{out:'res'});

 

 mapReduce详细解析可以查看:https://www.cnblogs.com/chenpingzhao/p/7913247.html

转载于:https://www.cnblogs.com/ywjfx/p/10230146.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MongoDB聚合函数mapreduce是一种用于处理大规模数据的方法,它可以将数据集合分成多个小块进行处理,并将结果合并起来生成最终的输出。mapreduce包含两个部分:map和reduce。 map函数是对数据集合进行初步处理的函数,它接收一个文档作为输入,并对文档中的数据进行处理,生成一个键值对作为输出。reduce函数则是对map函数生成的键值对进行处理的函数,它接收一个键和一组相关的值作为输入,并对这些值进行处理,生成一个新的键值对作为输出。 在MongoDB中,mapreduce函数可以通过db.collection.mapReduce()方法进行调用。该方法接收四个参数:map函数、reduce函数、输出集合的名称和一个可选的参数对象。其中,参数对象可以包含过滤条件、排序规则、限制条件等。 下面是一个简单的示例,假设我们有一个名为orders的集合,其中包含以下文档: ``` { "_id" : ObjectId("5f274c4d6d68650a3015a1c1"), "customer" : "Alice", "total" : 10 } { "_id" : ObjectId("5f274c4d6d68650a3015a1c2"), "customer" : "Bob", "total" : 20 } { "_id" : ObjectId("5f274c4d6d68650a3015a1c3"), "customer" : "Charlie", "total" : 30 } ``` 我们可以通过以下代码使用mapreduce函数对数据进行处理: ``` db.orders.mapReduce( function() { emit(this.customer, this.total); }, function(key, values) { return Array.sum(values); }, { out: "order_totals" } ) ``` 这个代码会根据每个文档的customer字段将数据分组,并将每个文档的total字段作为值。map函数生成的键值对会传递给reduce函数进行处理,最终将生成一个名为order_totals的输出集合,其中包含以下文档: ``` { "_id" : "Alice", "value" : 10 } { "_id" : "Bob", "value" : 20 } { "_id" : "Charlie", "value" : 30 } ``` 这个例子只是mapreduce函数的一个简单示例,实际上它的应用非常广泛,可以处理大规模数据、生成复杂的报表等。但是,在使用mapreduce函数时需要注意一些性能问题,例如map函数的执行时间、reduce函数的复杂度等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值