MapReduce学习

概念:  是一种编程模型,用于大规模数据集(大于1TB)的并行运算.

主要分为  map(映射): 将操作映射到集合的每一个文档上,产生一些健和X个值

          Shuffle(洗牌): 按照键分组,并将产生的键值组成列表放到对应的健中. 

          reduce(化简): 把列表中的值化简成一个单值

 

例子: 有一个班级的学生,学生信息放在一个Student的Collection中,现在需要将学生按照年龄分组. {‘name’:’lxd’,’age’:23,…}

 

先创建一个collection,添加一些documents

执行mapreduce模型的时候,还有一些参数可选,

如,

Query - map函数映射到每个文档之前对文档进行过滤

Sort - 将在map函数映射到每个文档之前对文档进行排序

Limit - 在map函数映射到每个文档之前对文档进行限制文档上限.

具体可以参考http://www.16kan.com/post/208999.html

 

转载于:https://www.cnblogs.com/abel1990/p/3323613.html