MongoDB对不重复数据分组进行计数

最新推荐文章于 2024-04-12 10:29:35 发布
最新推荐文章于 2024-04-12 10:29:35 发布
阅读量3.1k 收藏 5
点赞数 1
分类专栏： 数据 文章标签： MongoDB pymongo mongodb去重 mongodb distinct mongodb aggregate
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37732787/article/details/86568958
版权
在实际环境中，经常会用到对数据进行去重计数
1、采用mongodb的distinct
db.collection.distinct("key").length

db 是数据库名称，collection是集合名称，key是去重的字段，根据自己的名称进行修改
对uid不重复数据进行计数
该图显示了对uid去重后的数据总数

这种方法对大规模数据不适用，因为distinct最多只能使用16M空间，会出现下面的错误
在这里插入图片描述



2、采用MongoDB 的aggregate进行分组计数

官方文档地址 https://docs.mongodb.com/manual/aggregation/

下面是官网截图，aggregate的使用一目了然
在这里插入图片描述

aggregate基本功能是match，gr

最低0.47元/天 解锁文章
weixin_37732787
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
MongoDB –分组，计数和排序示例
一名可爱的技术搬运工
05-29 3960
一些MongoDB示例向您展示如何执行分组，计数和排序查询。 1.测试数据 一个whois_range集合，包含许多记录。 > db.whois_range.find(); { "_id" : 1, "country" : "us", "source" : "ARIN", "status" : "NEW", "createdDate" : ISODate("2016-...
mongodb分组统计
标题有点难
07-18 8948
一、对字段（protocol）下的不同类型进行分组统计： db.getCollection('xxx').aggregate([ { "$group": { "_id": { "protocol": "$protocol" }, "protocolCount": { "$sum": 1 } }} ]) 或 db...
MongoDB 多个字段中进行分组统计数量
最新发布
qq_15874209的博客
04-12 458
当你需要按照四个字段在 MongoDB 中进行分组统计数量时，你可以继续使用聚合框架中的$group阶段，将_id设定为一个包含这四个字段的对象。这个方法可以灵活应对多字段的分组需求。假设你想根据categorysubjectcolorMode, 和size四个字段对一个集合进行分组统计。
sqlserver 分组统计 多字段 其中一个_MongoDB 分组统计
weixin_39579548的博客
12-10 629
【摘要】 MongoDB 在进行分组统计时如果面对一些比较复杂的计算情况，往往会遇到 shell 脚本过于复杂的问题。而集算器 SPL 语言，则因其有丰富的函数库及易用性恰好能弥补 Mongo 这方面的不足。若想了解更多，请前往乾学院：MongoDB 分组统计!MongoDB 作为 NoSql 文档型数据库，在全球范围得到广泛的支持与应用。在比较常用的数据库功能中，相对于普通的增删改查，使用 gr...
mongo数据库聚合分类，只返回数据库中指定字段不重复的数据
wflsyf的博客
05-17 647
T.class为mongo数据库实体类 TypedAggregation<T> noRepeated = Aggregation.newAggregation( T.class,//数据库的实体类 Aggregation.match(Criteria.where(数据库字段).is(待满足的条件).and(数据库字段).is(待满足的条件)),//匹配的规则，先获取数据中将满足条件的警报
使用aggregate在MongoDB中查询重复数据记录的方法
09-10
`$group`操作允许我们按照指定字段分组文档，并对每个组进行计数或计算其他聚合值。例如，如果我们想找出`firstField`和`secondField`字段组合的重复记录，可以设置`_id`字段为这两个字段的值，然后使用`$addToSet`...
mongodb-测试数据
06-09
MongoDB是一种流行的开源、分布式文档数据库，常被用于构建高性能、可扩展的应用程序。这个“mongodb-测试数据”压缩包显然包含了一些...通过深入研究和操作这些数据，你可以增强对MongoDB的理解，提升数据库管理技能。
MongoDB聚合分组取第一条记录的案例与实现方法
12-16
使用聚合框架的第一步是对数据进行分组，这里的目标是根据 `refererDomain` 创建分组。同时，我们可以将新生成的分组结果输出到一个新的集合 `mt_resources_access_log20190122` 中。对应的MongoDB命令如下： ```...
浅析mongodb中group分组
09-10
MongoDB的`group`命令是数据聚合的一种方式，主要用于对数据进行分组并进行统计分析。在MongoDB中，当你需要根据某个字段的值来汇总数据时，`group`命令非常有用。以下是对MongoDB中`group`分组功能的详细解析： 1....
MongoDB聚合使用表达式运算符（函数）分组按条件计数统计案例一则
肖永威的专栏
11-20 2042
MongoDB聚合过程中的表达式运算符（函数）用法入门——分组按条件计数统计案例，在MongoDB聚合统计过程中，经常使用表达式运算符用于构造用于聚合管道阶段的表达式。
mongo分组拆分统计
GO_Print的博客
08-04 527
mongo里面 存在某个字段used_where类型是array 需要根据这个array里面每个值和type字段去统计数量 比如： _id: Object("64******433") type:text used_where:[otu ，人脸，字幕] _id: Object("64******553") type:video used_where:[人脸，字幕] _id: Object("64******577") type:audio us
MongoDB中的 Limit和Skip方法实现分页，Sort实现排序，Count实现统计个数，distinct去除重复数据（八）
胖墩的IT博客
06-14 2495
MongoDB也有Limit读取指定数量的数据记录，Skip 跳过指定数量的数据，它俩结合起来就可以做一个分页 准备测试数据 > db.col.find() { "_id" : ObjectId("5d0346819cd49366b7f099ee"), "title" : "教育" } { "_id" : ObjectId("5d0346819cd49366b7f099ef"), "ti...
mongodb字段分类统计
weixin_43812065的博客
10-18 952
/** * @Author: mahongfei * @description: 求职人婚姻状况比例（饼状图） */ @Override public Result statisticsMarriage() { List operations = new ArrayList<>(); operations.add(Aggregation.group(“marriage”).count(...
【MongoDB】模糊匹配 & 分组计数 & 分组求和
morcit333的博客
02-26 2347
日拱一卒,功不唐捐 1. 模糊匹配-正则匹配 假设，有如下数据集： { "text": "Gorgeous", "dt":ISODate("2020-02-20T00:00:00.000Z") } Mongo语句： db.getCollection('abc').find({ 'text':{'$regex':'ge'} }) MySQL类似语句： select * from ...
【MongoDB日常记录】group后求count(distinct 某字段) 的方法
my的博客
03-24 1359
今天，我遇到了个在mongo中 group后 count(distinct f1) 的需求。 备注：f1 代表某字段 大意是： 根据key1 分组后,找出该组中字段 f1的不重复数量 1. mysql实现 伪sql如下：(这个挺简单的) sql select key1, count(distinct f1) from t group by key1 2. mong...
MongoDB聚合：分组统计$group的用法详解
superatom01的博客
12-14 4156
MongoDB不像关系型数据库，普通的查询不支持汇总，要进行复杂的分组汇总，需要使用聚合管道，$group可以说是MongoDB聚合管道进行数据分析最常用的一个阶段。该阶段根据分组键值（组键）把文档分成若干组，每个唯一的键值对应一个文档。组键通常是一个或多个字段，也可以是表达式的结果。$group阶段输出的结果中，_id字段的值就是组键的值，输出文档中还可以包含汇总表达式的字段，汇总表达式的功能非常丰富，下面的列表会简单介绍，具体的使用方法可以参考详细说明。
MongoTemplate简单引用记录
freekaiQaQ的博客
04-22 797
mongo中存在数据的结构 1. 按照某个字段或者某几个字段分组统计数量 List<AggregationOperation> operations = new ArrayList<>(); // 正则匹配进行模糊查询 Pattern pattern = Pattern.compile("^.*" + equName + ".*$", Pattern.MULTILINE); operations.add(Aggregation.match
04----深入理解MongoDB聚合（Aggregation ）
wangyongxun1983的博客
01-10 1206
MongoDB中聚合(aggregate)操作将来自多个document的value组合在一起，并通过对分组数据进行各种操作处理，并返回计算后的数据结果，主要用于处理数据(诸如统计平均值,求和等)。MongoDB提供三种方式去执行聚合操作：聚合管道（aggregation pipeline）、Map-Reduce函数以及单一的聚合命令(count、distinct、group)。 1. 聚合管道（aggregation pipeline） 1.1聚合管道 聚合管道是由aggregation fram.
Mongodb操作（二）：批量查重及去重
qq_540710991的博客
12-08 2017
利用mongdb的聚类函数aggregate，对数据进行查重和去重操作。
mongodb 分组计数
06-07
你可以使用 MongoDB 的聚合框架来进行分组计数。以下是一个示例代码，假设你有一个名为 orders 的集合，其中包含了订单信息，你想要按照客户名进行分组计数。 ``` db.orders.aggregate([ { $group: { _id: "$customer_name", count: { $sum: 1 } } } ]) ``` 这个聚合操作将 orders 集合中的文档按照 customer_name 分组，并计算每个分组中文档的数量。最终的结果将会是一个包含了每个客户名和对应订单数量的文档数组。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值