mapreduce-在MongoDB中，用MapReduce实现两个有引用关系的集合的统计

最新推荐文章于 2022-03-04 14:50:03 发布
最新推荐文章于 2022-03-04 14:50:03 发布
阅读量2.5k 收藏
点赞数
分类专栏： MongoDB
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/h70614959/article/details/8308763
版权

关于 mongDB MapReduce 原理

可以参考地址：

http://javabeezer.iteye.com/blog/1275124


现在我有一张表video_encode ,其中encodeId,为主键，uploadId为外键。

一个uploadId 对于多个encodeId 。

现在我要统计，每个uploadId,对于几个encodeId.







统计出来的结果.




备注：如果需要在linux 中执行 js 脚本输入

/usr/local/mongo/bin/mongo 即可


chkaka
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MongoDB Map Reduce 聚合
qq_43520820的博客
10-28 439
MongoDB Map Reduce Map-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。 MongoDB提供的Map-Reduce非常灵活，对于大规模数据分析也相当实用。 MapReduce 命令 以下是MapReduce的基本语法： >db.collection.mapReduce( function() {emit(key,value);}, //map 函数 function(key,values
MongoDB自带MapReduce功能和用spring-data实现MapReduce
04-18 2365
一、使用MongoDB自带shell完成MapReduce。 1、首先插入测试数据。 use test db.mapreduce.insert({"_id":"1","x":["a","b"]}) db.mapreduce.insert({"_id":"2","x":["b","c"]}) db.mapreduce.insert({"_id":"3","x":["c","d"]}) 使用te
那位帮忙提供一个java mongodb多个collection进行mapreduce的操作。
云淡风轻、仅此一抹
06-22 2226
那位帮忙提供一个java mongodb多个collection进行mapreduce的操作。代码下载地址：http://www.zuidaima.com/share/1550463227890688.htm
Mongodb中MapReduce实现数据聚合方法详解
09-10
Mongodb是针对大数据量环境下诞生的用于保存大数据量的非关系型数据库，针对大量的数据。接下来通过本文给大家介绍Mongodb中MapReduce实现数据聚合方法详解，感兴趣的朋友一起学习吧
Mongodb中数据聚合之MapReduce
马靖的个人技术博客
05-14 9347
Mongodb是针对大数据量环境下诞生的用于保存大数据量的非关系型数据库，针对大量的数据，如何进行统计操作至关重要，那么如何从Mongodb中统计一些数据呢？ 在Mongodb中，给我们提供了三种用于数据聚合的方式： （1）简单的用户聚合函数； （2）使用aggregate进行统计； （3）使用mapReduce进行统计； 今天我们首先来讲讲mapReduce是如何统计，在后续的文章中，
MongoDB分布式存储的MapReduce并行查询
weixin_33743880的博客
02-22 93
今天要介绍的是如何使用MONGODB中提供的MapReduce功能进行查询。 　　今天介绍如何基于sharding机制进行mapreduce查询。在MongoDB的官方文档中，这么一句话： Sharded Environments In sharded environments, data processing of map/reduce operation...
MongoDB中MapReduce的使用方法详解
09-09
在MongoDB中，MapReduce通过两个主要函数——map和reduce——以及可选的finalize函数来实现这一过程。 **1. Map函数** Map函数是MapReduce的第一步，它的任务是遍历输入文档（即集合中的每个记录），并为每个文档...
MongoDB中的MapReduce简介
12-15
MapReduce包含两个主要阶段：Map阶段和Reduce阶段，这两个阶段共同实现了数据处理的并行化，从而提高处理效率。 Map阶段的主要任务是将原始数据分解为更小的数据单元，通常是一个键值对（key-value pair）。在这个...
mongodb中使用mapreduce进行分组统计
weixin_33875564的博客
11-03 329
最近在统计某一个时间段的url去重数，由于数据量巨大导致报错，提示：distinctfailed:{ "errmsg":"exception:distincttoobig,16mbcap", "code":17217, "ok":0 }atsrc/mongo/shell/collection.js:1108最终通过mapreduce来解决如下：/...
第33章：MongoDB-索引--GridFS存储文件
weixin_30780649的博客
03-18 441
①简介 GridFS是MongoDB用来存储大型二进制文件的一种存储机制。特别适合用在存储一些不常改变,但是经常需要连续访问的大文件的情况。 ②GridFS的优点 1:能够简化技术栈,如果已经使用了MongoDB,那么使用GridFS,就不需要其它独立的存储工具了 2:GridFS会自动平衡已有的复制,或者为MongoDB设置的自动分片,所以对文件存...
MongoDB 集合概念
02-21 324
　　所谓“面向集合”（Collection-Oriented），意思是数据被分组存储在数据集中，被称为一个集合（Collenction)。每个集合在数据库中都有一个唯一的标识名，并且可以包含无限数目的文档。集合的概念类似关系型数...
MongoDB简介
weixin_34212762的博客
11-05 65
/Files/liga/MongoDB简介.doc MongoDB简介 一、基本概况 MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现...
MongoDB特殊的索引和集合
bin的专栏
07-08 822
MongoDB学习笔记一，固定集合MongoDB中的“普通”集合是动态创建的，而且可以自动增长以容纳更多的数据。MongoDB中还有另一种不同类型的集合，叫做固定集合，固定集合需要事先创建好，而且它的大小是固定的。当固定集合被占满时，如果再插入新文档，固定集合会自动将最老的文档从集合中删除。不同于普通集合，固定集合必须在使用之前显示创建。在shell中通过createCollection创建。db.
MapReduce两个数据源关联
maclaren001的专栏
03-07 2676
平时开发的时候会遇到很多需要将HDFS上多个数据源的某个字段做为关联字段，得出多个数据源的笛卡儿积。了解了MapReduce多数据源关联的基本思路后就很简单。 基本思路：在Map输入阶段获取输入路径，在Map输出阶段根据路径的不同加以区分，即在将关联的列作为Key,在Value中加以区分是哪个数据源的数据，接着在Reduce的输入阶段，在reduce方法的入参会得到所有Key相同的集合，这样便可
MongoDB中使用MapReduce来进行聚合操作
xusheng__zhang的博客
11-07 6497
在mongoDB的MapReduce操作中，map函数产生一些列中间数据，这些中间数据是key/value的集合。reduce函数收集具有相同中间key值的value值，合并这些value值，形成一个较小的value值的集合。 一个MongDB的MapReduce执行的过程如下所示。 在这个MapReduce操作中，首先通过query筛选出了一部分的数据，然后对着一部分的数据进行map操作
经典问题总结
思考、总结、专注
08-12 2920
一、Java基础 1. 实例方法和静态方法有什么不一样？ 2. Java中的异常有哪几类？分别怎么使用？ 3. 常用的集合类有哪些？比如List如何排序？ 4. ArrayList和LinkedList内部的实现大致是怎样的？他们之间的区别和各自适应的场景是什么？ 5. 内存溢出是怎么回事？ 6. ClassLoader有什么用？ 7. ==和equals
MongoDB：MapReduce的使用
拒绝熬夜啊的博客
03-04 1302
MongoDB：MapReduce的使用
Hadoop开篇之Mapreduce实现多类别流量统计的两种实现方式
jp_850741123的博客
09-04 2012
1、环境：hadoop2.6伪分布式 2、输入：流量日志文件 1）日志具体内容： 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200 1363157995052 13826544101 5C-0E-8B-C7-F1-E
初识MongoDB(十四) MongoDB中MapReduce使用
NameiCc
12-21 670
MongoDB中MapReduce使用
利用mapreduce简单统计信息
qq_36055407的博客
09-27 1860
        利用mapreduce对一下文本进行处理，对每个用户的上行流量，下行流量 还有宗总流量进行分析，输出手机号、上行流量、下行流量  1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200 1363157995052 138265...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值