我在一次统计中,用mongoDB中的Group 对一张记录数100W表进行汇总。
结果出现异常信息。
Error in executing GroupBy
Command 'group' failed: exception: group() can't handle more than 20000 unique keys (response: { "errmsg" : "exception: group() can't handle more than 20000 unique keys", "code" : 10043, "ok" : 0.0 })
Type: MongoDB.Driver.MongoCommandException
从异常信息可以看出mongoDB中的group是有限制的,非唯一索引记录数不能大于20000,。
不过我没有研究,怎么去设置mongoDB参数,来取消这个限制。
但是可以用mongoDB中mapReduce,依然可以完成统计需求。
mapReduce初级使用可以参考:http://www.kafka0102.com/2010/09/329.html
这里还是简单说一下自己理解mongDB MapReduce原理。
Map 就是映射,Reduce化简。
意思就是在统计的时候我需要先根据你定义的规则来收集信息(执行Map操作),
然后再从你收集的信息里面提取你想要数据(reduce)。
先卡看一下语法:
语法介绍
MapReduce是mongodb中的一个Command,它的语法格式如下:
db.runCommand(
{ mapreduce : <collection>,
map : <mapfunction>,
reduce : <reducefunction>
[, query : <query filter object>]
[, sort : <sort the query. useful for optimization>]
[, limit : <number of objects to return from collection>]
[, out : <output-collection name>]
[, keeptemp: <true|false>]
[, finalize : <finalizefunction>]
[, scope : <object where fields go into javascript global scope >]
[, verbose : true]
}
);
对于该Command,必有的3个参数我就不解释了。对于可选参数,这里简要说明如下:
(1) query是很常用的,它用来在map阶段过滤查询条件的以限定MapReduce操作的记录范围。
(2) 和query相关的还有sort和limit,我起初以为它俩是用在reduce阶段,实际上和query一起用在map阶段。
(3) mongodb默认是创建一个临时的collection存储MapReduce结果,当客户端连接关闭或者显示使用collection.drop(),这个临时的collection会被删除掉。这也就说,默认的keeptemp是false,如果keeptemp为true,那么结果collection就是永久的。当然,生成的collection名称并不友好,所以可以指定out表明永久存储的collection的名称(这时不需要再指定keeptemp)。当指定out时,并不是将执行结果直接存储到out,而是同样到临时collection,之后如果out存在则drop掉,最后rename临时collection为out。
(4) finalize:当MapReduce完成时应用到所有结果上,通常不怎么使用。
(5) verbose:提供执行时间的统计信息。
第一步:在Map函数中通常我们会用到emit函数。
emit(
this.city, // how to group
{count: 1, age: this.age}// associated data point (document)
);
emit函数有两个参数。
参数1,表示你需要分组的字段。
参数2,分组中每条数据中需要的字段。
在Map执行完成后我们可以想象成,收集的数据存入一个map集合中,group字段是key,value值是分组中多条数据。
举个列子:
有一张表:
班级,学生
1,a
1,b
2,c
2,d
那么map存放的类容。
map1={1:a,1:b},map2={2:c,2:d} (这是value值)
map={1:map1,2:map2};
第二步:然后再执行reduce.
对于map中每一项都会调用一次reduce函数。
具体函数:
function Reduce(key, values) {
/*
var reduced = {count:0, age:0}; // initialize a doc (same format as emitted value)
values.forEach(function(val) {
reduced.age += val.age; // reduce logic
reduced.count += val.count;
});
return reduced;
*/
return values[0];
}
第三步:是可选的选项。这里主要介绍以下finalize
[, query : <query filter object>]
[, sort : <sort the query. useful for optimization>]
[, limit : <number of objects to return from collection>]
[, out : <output-collection name>]
[, keeptemp: <true|false>]
[, finalize : <finalizefunction>]
[, scope : <object where fields go into javascript global scope >]
[, verbose : true]
finalize是最终的意思,就是对mapReduce后的数据再一次处理,就相当于在关系数据库中group by以后的having操作。
比如说我们需要过滤count数大于10条记录的。或者求平均数等待。
function Finalize(key, reduced) {
/*
// Make final updates or calculations
reduced.avgAge = reduced.age / reduced.count;
*/
if(reduced.count>10){return;} //过滤记录数大于10
return reduced;
}