MongoDB--MapReduce分组去重用法

今天项目中发现MongoDB运行MapReduce是报错，提示reduce空间已经满了。

查询资料了解，reduce在执行过程中是有空间大小的，当数据量满了的时候，reduce就会停止。

mongodb对单个文档大小的限制是>v1.8版本的16MB。
v1.8的版本4MB，mongodb 单表最大索引数为64。
无索引排序的最大数据量为4M, 超过则报错退出。
如果reduce的values超过这个限制会报错退出, 严重的mongodb服务直接dbexit

http://my.oschina.net/huzorro/blog/73879?p=1
于是网上找到去重分组的方式可以解决这个问题，
去重分组的目的是减少reduce的时候记录的数量，

去重

res = db.runCommand({
    mapreduce:'mo_log_201208',
    map:function() {
        emit({Spcode:this.Spcode, Spname:this.Spname, 
                        Consignid:this.Consignid, Consname:this.Consname,
                        Srctermid:this.Srctermid}, {count:1});
    },
    reduce:function(key, value) {
        var ret = {count:0};
        ret.count++;
        return ret;
    },
    out:'tmp_mo_spcode_consignid_region_serviceid_1',
    verbose:true
})

分组

res = db.runCommand({
    mapreduce:'tmp_spcode_consignid_region_serviceid_1',
    map:function() {
        emit({Spcode:this._id.Spcode, Spname:this._id.Spname,        
                        Consignid:this._id.Consignid, Srct:this._id.Consname}, 
                        {count:this.value.count});
    },
    reduce:function(key, value) {
        var ret = {count:0};
        for(var i in value) {
            ret.count += value[i].count;
        }
        return ret;
    },
    verbose:true
})