MongoDB对不重复数据分组进行计数

最新推荐文章于 2024-04-12 10:29:35 发布
最新推荐文章于 2024-04-12 10:29:35 发布
阅读量3.1k 收藏 5
点赞数 1
分类专栏： 数据 文章标签： MongoDB pymongo mongodb去重 mongodb distinct mongodb aggregate
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37732787/article/details/86568958
版权
在实际环境中，经常会用到对数据进行去重计数
1、采用mongodb的distinct
db.collection.distinct("key").length

db 是数据库名称，collection是集合名称，key是去重的字段，根据自己的名称进行修改
对uid不重复数据进行计数
该图显示了对uid去重后的数据总数

这种方法对大规模数据不适用，因为distinct最多只能使用16M空间，会出现下面的错误
在这里插入图片描述



2、采用MongoDB 的aggregate进行分组计数

官方文档地址 https://docs.mongodb.com/manual/aggregation/

下面是官网截图，aggregate的使用一目了然
在这里插入图片描述

aggregate基本功能是match，gr

最低0.47元/天 解锁文章
weixin_37732787
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
MongoDB –分组，计数和排序示例
一名可爱的技术搬运工
05-29 3960
一些MongoDB示例向您展示如何执行分组，计数和排序查询。 1.测试数据 一个whois_range集合，包含许多记录。 > db.whois_range.find(); { "_id" : 1, "country" : "us", "source" : "ARIN", "status" : "NEW", "createdDate" : ISODate("2016-...
mongodb分组统计
标题有点难
07-18 8948
一、对字段（protocol）下的不同类型进行分组统计： db.getCollection('xxx').aggregate([ { "$group": { "_id": { "protocol": "$protocol" }, "protocolCount": { "$sum": 1 } }} ]) 或 db...
MongoDB 多个字段中进行分组统计数量
最新发布
qq_15874209的博客
04-12 458
当你需要按照四个字段在 MongoDB 中进行分组统计数量时，你可以继续使用聚合框架中的$group阶段，将_id设定为一个包含这四个字段的对象。这个方法可以灵活应对多字段的分组需求。假设你想根据categorysubjectcolorMode, 和size四个字段对一个集合进行分组统计。
sqlserver 分组统计 多字段 其中一个_MongoDB 分组统计
weixin_39579548的博客
12-10 629
【摘要】 MongoDB 在进行分组统计时如果面对一些比较复杂的计算情况，往往会遇到 shell 脚本过于复杂的问题。而集算器 SPL 语言，则因其有丰富的函数库及易用性恰好能弥补 Mongo 这方面的不足。若想了解更多，请前往乾学院：MongoDB 分组统计!MongoDB 作为 NoSql 文档型数据库，在全球范围得到广泛的支持与应用。在比较常用的数据库功能中，相对于普通的增删改查，使用 gr...
mongo数据库聚合分类，只返回数据库中指定字段不重复的数据
wflsyf的博客
05-17 647
T.class为mongo数据库实体类 TypedAggregation<T> noRepeated = Aggregation.newAggregation( T.class,//数据库的实体类 Aggregation.match(Criteria.where(数据库字段).is(待满足的条件).and(数据库字段).is(待满足的条件)),//匹配的规则，先获取数据中将满足条件的警报
使用aggregate在MongoDB中查询重复数据记录的方法
09-10
`$group`操作允许我们按照指定字段分组文档，并对每个组进行计数或计算其他聚合值。例如，如果我们想找出`firstField`和`secondField`字段组合的重复记录，可以设置`_id`字段为这两个字段的值，然后使用`$addToSet`...
mongodb-测试数据
06-09
MongoDB是一种流行的开源、分布式文档数据库，常被用于构建高性能、可扩展的应用程序。这个“mongodb-测试数据”压缩包显然包含了一些...通过深入研究和操作这些数据，你可以增强对MongoDB的理解，提升数据库管理技能。
MongoDB聚合分组取第一条记录的案例与实现方法
12-16
使用聚合框架的第一步是对数据进行分组，这里的目标是根据 `refererDomain` 创建分组。同时，我们可以将新生成的分组结果输出到一个新的集合 `mt_resources_access_log20190122` 中。对应的MongoDB命令如下： ```...
浅析mongodb中group分组
09-10
MongoDB的`group`命令是数据聚合的一种方式，主要用于对数据进行分组并进行统计分析。在MongoDB中，当你需要根据某个字段的值来汇总数据时，`group`命令非常有用。以下是对MongoDB中`group`分组功能的详细解析： 1....
MongoDB聚合使用表达式运算符（函数）分组按条件计数统计案例一则
肖永威的专栏
11-20 2042
MongoDB聚合过程中的表达式运算符（函数）用法入门——分组按条件计数统计案例，在MongoDB聚合统计过程中，经常使用表达式运算符用于构造用于聚合管道阶段的表达式。
mongo分组拆分统计
GO_Print的博客
08-04 527
mongo里面 存在某个字段used_where类型是array 需要根据这个array里面每个值和type字段去统计数量 比如： _id: Object("64******433") type:text used_where:[otu ，人脸，字幕] _id: Object("64******553") type:video used_where:[人脸，字幕] _id: Object("64******577") type:audio us
MongoDB中的 Limit和Skip方法实现分页，Sort实现排序，Count实现统计个数，distinct去除重复数据（八）
胖墩的IT博客
06-14 2495
MongoDB也有Limit读取指定数量的数据记录，Skip 跳过指定数量的数据，它俩结合起来就可以做一个分页 准备测试数据 > db.col.find() { "_id" : ObjectId("5d0346819cd49366b7f099ee"), "title" : "教育" } { "_id" : ObjectId("5d0346819cd49366b7f099ef"), "ti...
mongodb字段分类统计
weixin_43812065的博客
10-18 952
/** * @Author: mahongfei * @description: 求职人婚姻状况比例（饼状图） */ @Override public Result statisticsMarriage() { List operations = new ArrayList<>(); operations.add(Aggregation.group(“marriage”).count(...
【MongoDB】模糊匹配 & 分组计数 & 分组求和
morcit333的博客
02-26 2347
日拱一卒,功不唐捐 1. 模糊匹配-正则匹配 假设，有如下数据集： { "text": "Gorgeous", "dt":ISODate("2020-02-20T00:00:00.000Z") } Mongo语句： db.getCollection('abc').find({ 'text':{'$regex':'ge'} }) MySQL类似语句： select * from ...
【MongoDB日常记录】group后求count(distinct 某字段) 的方法
my的博客
03-24 1359
今天，我遇到了个在mongo中 group后 count(distinct f1) 的需求。 备注：f1 代表某字段 大意是： 根据key1 分组后,找出该组中字段 f1的不重复数量 1. mysql实现 伪sql如下：(这个挺简单的) sql select key1, count(distinct f1) from t group by key1 2. mong...
MongoDB聚合：分组统计$group的用法详解
superatom01的博客
12-14 4154
MongoDB不像关系型数据库，普通的查询不支持汇总，要进行复杂的分组汇总，需要使用聚合管道，$group可以说是MongoDB聚合管道进行数据分析最常用的一个阶段。该阶段根据分组键值（组键）把文档分成若干组，每个唯一的键值对应一个文档。组键通常是一个或多个字段，也可以是表达式的结果。$group阶段输出的结果中，_id字段的值就是组键的值，输出文档中还可以包含汇总表达式的字段，汇总表达式的功能非常丰富，下面的列表会简单介绍，具体的使用方法可以参考详细说明。
MongoTemplate简单引用记录
freekaiQaQ的博客
04-22 797
mongo中存在数据的结构 1. 按照某个字段或者某几个字段分组统计数量 List<AggregationOperation> operations = new ArrayList<>(); // 正则匹配进行模糊查询 Pattern pattern = Pattern.compile("^.*" + equName + ".*$", Pattern.MULTILINE); operations.add(Aggregation.match
04----深入理解MongoDB聚合（Aggregation ）
wangyongxun1983的博客
01-10 1206
MongoDB中聚合(aggregate)操作将来自多个document的value组合在一起，并通过对分组数据进行各种操作处理，并返回计算后的数据结果，主要用于处理数据(诸如统计平均值,求和等)。MongoDB提供三种方式去执行聚合操作：聚合管道（aggregation pipeline）、Map-Reduce函数以及单一的聚合命令(count、distinct、group)。 1. 聚合管道（aggregation pipeline） 1.1聚合管道 聚合管道是由aggregation fram.
Mongodb操作（二）：批量查重及去重
qq_540710991的博客
12-08 2017
利用mongdb的聚类函数aggregate，对数据进行查重和去重操作。
mongodb 分组计数
06-07
你可以使用 MongoDB 的聚合框架来进行分组计数。以下是一个示例代码，假设你有一个名为 orders 的集合，其中包含了订单信息，你想要按照客户名进行分组计数。 ``` db.orders.aggregate([ { $group: { _id: "$...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值