MongoDB aggregate 管道聚合查询

已于 2022-10-18 13:53:29 修改
阅读量1.6k 收藏 3
点赞数
分类专栏： MongoDB 文章标签： mongodb 数据库 nosql
于 2022-10-15 17:26:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42555971/article/details/127323816
版权

文章目录

数据准备

UserPO

@Data
@EqualsAndHashCode(callSuper = true)
@Accessors(chain = true)
@NoArgsConstructor
@AllArgsConstructor
@Document(collection = "user")
public class UserPO extends BasePO {

    private String name;

    private String description;

}

UserGroupPO

@Data
@EqualsAndHashCode(callSuper = true)
@Accessors(chain = true)
@NoArgsConstructor
@AllArgsConstructor
@Document(collection = "user_group")
public class UserGroupPO extends BasePO {

    private String name;

    private String description;

    private List<Long> userIds;

}

用户数据
在这里插入图片描述

用户组数据
在这里插入图片描述

 

条件查询

match：and 匹配
查询用户组 id 等于 1，且删除标识等于 N 的数据

db.getCollection("user_group").aggregate([{
    "$match": {
        "$and": [{
            "_id": NumberLong("1")
        }, {
            "deleteFlag": "N"
        }]
    }
}]);

match：or 匹配
查询用户 name 等于 nn 或者 description 等于 dd 的数据

db.getCollection("user").aggregate([{
    "$match": {
        "$or": [{
            "name": "nn"
        }, {
            "description": "dd"
        }]
    }
}]);

 

聚合查询

查询用户组里的用户详情

模糊查询

match：按规则匹配
regex：按正则匹配
实现：按 xxx 模糊匹配字段 userName 或者 按 xxx 模糊匹配字段 userDes

db.getCollection("user").aggregate([{
   "$match": {
       "$or": [{
           "userName": {
               "$regex": ".*xxx.*"
           }
       }, {
           "userDes": {
               "$regex": ".*xxx.*"
           }
       }]
   }
}]);

 

拆分数据

unwind：将文档中的某一个数组类型字段拆分成多条
实现：根据 userIds 把用户组拆分了多行

db.getCollection("user_group").aggregate([{
    "$match": {
        "$and": [{
            "_id": NumberLong("2809813774582045833")
        }, {
            "deleteFlag": "N"
        }]
    }
}, {
    "$unwind": "$userIds"
}]);

在这里插入图片描述
 

关联查询

根据用户组查询用户

lookup官方文档
lookup：关联查询，类似于 MySQL 的 left jion 效果
实现：根据用户组的 userIds 查询用户详情，注意：查出来的 user 是个数组

  • from：同一个数据库下等待被Join的集合。
  • localField：源集合中的match值，如果输入的集合中，某文档没有 localField
    这个Key（Field），在处理的过程中，会默认为此文档含
    有 localField：null的键值对。
  • foreignField：待Join的集合的match值，如果待Join的集合中，文档没有foreignField
    值，在处理的过程中，会默认为此文档含有 foreignField：null的键值对。
  • as：为输出文档的新增值命名。如果输入的集合中已存在该值，则会覆盖掉
db.getCollection("user_group").aggregate([{
    "$match": {
        "$and": [{
            "_id": NumberLong("4523281346310580824")
        }, {
            "deleteFlag": "N"
        }]
    }
}, {
    "$unwind": "$userIds"
}, {
    "$lookup": {
        "from": "user",
        "localField": "userIds",
        "foreignField": "_id",
        "as": "user"
    }
}]);

在这里插入图片描述

 

根据用户查询用户组

lookup：关联查询，类似于 MySQL 的 left jion 效果
实现：查询用户列表且包含对应的用户组信息，注意：查出来的 userGroups 是个数组

  • from：要关联的从表名
  • let：自定义变量，可以为多个
  • pipeline：自定义的操作从表的聚合，但不允许使用out和merge操作，使用 let 定义的变量需要用两个$
  • as：为输出文档的新增值命名。如果输入的集合中已存在该值，则会覆盖掉
db.getCollection("user").aggregate([{
    $lookup: {
        from: "user_group",
        let: {
            user_id: "$_id"
        },
        pipeline: [
            {
                $match: {
                    $expr: {
                        $in: ["$$user_id", "$userIds"]
                    }
                }
            }
        ],
        as: "userGroups"
    }
}]);

在这里插入图片描述

 

控制显示

project 控制字段显示与否
实现： 删除无用字段，

  • 普通列（{成员：1 | true}）：表示要显示的内容
  • “_id” 列（{“_id”：0 | false}）：表示 “_id” 列是否显示
db.getCollection("user_group").aggregate([{
    "$match": {
        "$and": [{
            "_id": NumberLong("4523281346310580824")
        }, {
            "deleteFlag": "N"
        }]
    }
}, {
    "$unwind": "$userIds"
}, {
    "$lookup": {
        "from": "user",
        "localField": "userIds",
        "foreignField": "_id",
        "as": "user"
    }
}, {
    "$project": {
        "user": 1,
        "_id": 0,
        
    }
}]);

在这里插入图片描述
 

字段置顶

arrayElemAt：将指定文档提升到顶级并替换所有其它字段。该操作会替换输入文档中的所有现在字段，包括_id字段
replaceRoot：返回存在于给定数组的指定索引上的元素
实现：把 user 的第一个元素提至顶级

db.getCollection("user_group").aggregate([{
    "$match": {
        "$and": [{
            "_id": NumberLong("4523281346310580824")
        }, {
            "deleteFlag": "N"
        }]
    }
}, {
    "$unwind": "$userIds"
}, {
    "$lookup": {
        "from": "user",
        "localField": "userIds",
        "foreignField": "_id",
        "as": "user"
    }
}, {
    "$project": {
        "user": 1,
        "_id": 0,
        
    }
}, {
    "$replaceRoot": {
        "newRoot": {
            "$arrayElemAt": ["$user", 0]
        }
    }
}]);

在这里插入图片描述
此数据格式已经非常漂亮，符合日常返回格式，完成了需求

 

合并字段

mergeObjects：将多个文档合并为一个文档，如果要合并的文档包含相同的字段名，则结果文档中的字段具有该字段最后一个合并文档中的值
实现：保留 userGroup 的信息

db.getCollection("user_group").aggregate([{
    "$match": {
        "$and": [{
            "_id": NumberLong("4523281346310580824")
        }, {
            "deleteFlag": "N"
        }]
    }
}, {
    "$unwind": "$userIds"
}, {
    "$lookup": {
        "from": "user",
        "localField": "userIds",
        "foreignField": "_id",
        "as": "user"
    }
}, {
    "$replaceRoot": {
        "newRoot": {
            "$mergeObjects": [{
                "$arrayElemAt": ["$user", 0]
            }, "$$ROOT"]
        }
    }
},{
    "$project": {
        "user": 0
    }
}]);

在这里插入图片描述
 

新增或修改字段

set：字段存在则修改，无则新增
实现：

db.getCollection("user_group").aggregate([{
    "$match": {
        "$and": [{
            "_id": NumberLong("4523281346310580824")
        }, {
            "deleteFlag": "N"
        }]
    }
}, {
    "$unwind": "$userIds"
}, {
    "$lookup": {
        "from": "user",
        "localField": "userIds",
        "foreignField": "_id",
        "as": "user"
    }
}, {
    "$replaceRoot": {
        "newRoot": {
            "$mergeObjects": [{
                "$arrayElemAt": ["$user", 0]
            }, "$$ROOT"]
        }
    }
}, {
    "$project": {
        "user": 0
    }
}, {
    "$set": {
        "accounts": "accounts",
        "deleteFlag": "deleteFlag"
    }
}]);

在这里插入图片描述
 

计算总数

count：计算总数
实现：查询 user 表的总条数

db.getCollection("user").aggregate([
    {
        "$count": "total"
    }
]);

在这里插入图片描述

 

分页查询

分页：对数据做分页处理
跳过 3 条数据，从第 4 条起，显示 2 条

  • skip：跳过多少条
  • limit：显示多少条
db.getCollection("user").aggregate([
    {
        "$skip": 3
    },
    {
        "$limit": 2
    }
]);

在这里插入图片描述
 

分页查询加总数

分页查询需要同时返回总数和数据
facet：在同一组输入文档的单一阶段中处理多个聚合管道；每个子管道在输出文档中都有自己的字段，其结果存储在文档数组中

db.getCollection("user").aggregate([
    {
        "$facet": {
            "metadata": [{
                "$count": "total"
            }],
            "records": [{
                "$skip": 0
            }, {
                "$limit": 10
            }]
        }
    }
]);

在这里插入图片描述
metadata 不太符合常规数据结构，把它去掉，把 total 提上顶层

db.getCollection("user").aggregate([
    {
        "$facet": {
            "metadata": [{
                "$count": "total"
            }],
            "records": [{
                "$skip": 0
            }, {
                "$limit": 2
            }]
        }
    },
    {
        "$replaceRoot": {
            "newRoot": {
                "$mergeObjects": [{
                    "$arrayElemAt": ["$metadata", 0]
                }, "$$ROOT"]
            }
        }
    },
    {
        "$project": {
            "metadata": 0
        }
    }
]);

在这里插入图片描述
 

排序

sort：根据某字段对数据进行排序
其中 key 用来定义要根据那个字段进行排序，后面的值 1 则表示以升序进行排序，若要以降序进行排序则需要将其设置为 -1
实现：对用户表按创建时间倒序来排序

db.getCollection("user").aggregate([
    {
        $sort: {
            creationDate: - 1
        }
    }
]);

 

分组

$group ：根据某字段对数据进行分组，类似 MySQL的 group by

  • _id ：强制必须存在。可以为 null
  • $sum：计算总数
  • $avg：计算平均值
  • $max：最大值
  • $min：最小值
  • $first：输出第一个内容
  • $last：输出最后一个内容
  • $push：将数据拼接到一个数组中
  • $addToSet：将数据拼接到一个数组中，过滤重复数据

数据准备
在这里插入图片描述

 
$sum：根据用户的 userName 字段，对数据进行分组，并统计重复的总数

db.getCollection("user").aggregate([{
    $group: {
        _id: "$userName",
        count: {
            $sum: 1
        }
    }
}]);

在这里插入图片描述
 
$avg：根据用户的 userName 字段，对数据进行分组，并算出分组后 userDes 的平均值

db.getCollection("user").aggregate([{
    $group: {
        _id: "$userName",
        desavg: {
            $avg: "$userDes"
        }
    }
}]);

在这里插入图片描述
 
$push：根据用户的 userName 字段，对数据进行分组，并把 userDes 组合到 num

db.getCollection("user").aggregate([{
    $group: {
        _id: "$userName",
        num: {
            $push: "$userDes"
        }
    }
}]);

在这里插入图片描述
 
$addToSet：和push类似，但会过滤重复的数据，name2 的 40 只有一条了

db.getCollection("user").aggregate([{
    $group: {
        _id: "$userName",
        num: {
            $addToSet: "$userDes"
        }
    }
}]);

在这里插入图片描述
 
$$ROOT：分组后生成list

db.getCollection("user").aggregate([{
    $group: {
        _id: "$userName",
        num: {
            $push: "$$ROOT"
        }
    }
}]);

在这里插入图片描述

我有一只肥螳螂
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第九章 聚合搜索： Aggregations
Elastic开源社区
06-11 942
版权声明本文为Elastic开源社区版权所有，保证独立性和原创性，未获得授权和允许，任何组织和个人不得以任何方式传播或复制或分享。否则必将追究法律责任。知识内容输出不易，请尊重他人劳动成果。严禁随意传播、复制和盗用他人成果或文章内容用以商业或盈利目的！# 1、概述。
MongoDB 聚合管道的文档关联查询($lookup)及管道合并($unionWith)
Mointor
04-11 1925
MongoDB中使用$lookup实现集合的关联查询、使用unionWith实现集合的管道的合并
MongoDB聚合查询总结
m0_72418211的博客
09-16 451
点击名片关注阿尘blog，一起学习，一起成长本文主要整理MongoDB聚合查询相关内容1、MongoDB聚合查询简介1.1 聚合查询概述聚合查询定义聚合操作主要用于处理数据并返回计算结果。聚合操作将来自多个文档的值组合在一起，按条件分组后，再进行一系列操作（如求和、平均值、最大值、最小值）以返回单个结果。聚合是MongoDB的高级查询语言，它允许我们通过转化合并由多个文档的数据来生成新的在单个文...
MongoDB聚合运算符：$mergeObjects
superatom01的博客
04-06 223
摘要：`$mergeObjects`聚合运算符用于将多个文档合并为一个文档。可用于`$bucket`、`$bucketAuto`、`$group`、`$replaceRoot`等阶段。
MongoDB之通过mongoTemplate利用aggregate管道聚合操作获取某一个或多个字段的最大值和最小值
熊凯瑞的博客
11-08 3049
有时候在操作mongodb数据库时需要找出某个字段的最大值和最小值，网上的方法就两种，一种是先排序，按升序或者按降序，然后取第一个值就可以得到最大值或最小值了，听起来很美好，但一旦数据库内数据非常多的时候，而且还是mongoDB这样的数据库，如果查一遍库才能拿到值，代价是非常大的。所以我主要采用第二种方法，也就是利用mongodbTemplate来进行管道操作来获取mongodb数据库中某一个或多个字段的最大值和最小值。
MongoDB聚合查询（二）
沉浸式Study
06-25 1582
聚合操作主要用于处理数据并返回计算结果。聚合操作将来自多个文档的值组合在一起，按条件分组后，再进行一系列操作（如求和、平均值、最大值、最小值）以返回单个结果。MapReduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）mapreduce使用javascript语法编写，其内部也是基于javascript V8引擎解析并执行，javascript语言的灵活性也让mapreduce可以处理更加复杂的业务场景；
MongoDB 高级查询 aggregate 聚合管道
12-14
db.COLLECTION_NAME.aggregate() 方法用来构建和使用聚合管道，下图是官网给的实例，可以看出来聚合管道的用法还是比较简单的。   2. MongoDB Aggregation 管道操作符与表达式 常用的管道操作符有以下这些： ...
MongoDB-管道聚合查询（笔记）
01-07
db.term.aggregate([ {KaTeX parse error: Expected ‘EOF’, got ‘}’ at position 24: …ibrary_id:3607}}̲, {limit:5}, {KaTeX parse error: Expected ‘}’, got ‘EOF’ at end of input: group:{_id:”...
MongoDB的高级查询aggregate聚合管道1
08-03
在MongoDB中，聚合管道通过`db.COLLECTION_NAME.aggregate([...])`方法来实现。 一、MongoDB聚合管道（Aggregation Pipeline） 聚合管道由多个阶段组成，每个阶段都会接收上一阶段处理后的结果，并对其进行进一步的...
MongoDB 聚合管道（Aggregation Pipeline）
08-11
MongoDB 聚合管道（Aggregation Pipeline） - 张善友 - 博客园
MongoDB之聚合aggregate操作
01-07
关于mongodb的高级操作，包括聚合、主从复制、分片、备份与恢复、MR。 一、聚合 aggregate 聚合(aggregate)主要用于计算数据，类似sql中的sum()、avg() 语法： db.集合名称.aggregate([{管道:{表达式}}]) 管道：...
java里面实现mongo管道查询（通用），可以自己组合各种语句
weixin_43994800的博客
04-17 293
【代码】java里面实现mongo管道查询（通用），可以自己组合各种语句。
MongoDB复杂分组聚合查询
赵广陆
06-03 4388
目录 1 聚合查询 1.1 MongoDB的聚合查询 2 聚合管道方法 2.1 聚合流程 2.1.1 详细流程 2.2 聚合语法 2.2.1 参数说明 2.2.2 注意事项 2.3 常用聚合管道 2.3.1 与mysql聚合类比 3 使用示例 3.1 统计所有数据 3.2 对所有城市人数求合 3.3 对城市缩写相同的城市人数求合 3.4 state重复的城市个数 3.5 state重复个数大于100的城市 4 MapReduce 4.1 什么是MapReduce 4.1.1 执行阶段 4.1.2 语法
MongoDB aggregate性能优化与排序
www_xue_xi的博客
03-20 4452
MongoDB 在使用aggregate操作对数据进行处理时，需要显示排序操作，否则性能上会有很大的差别。
管道查询mongo
weixin_45077672的博客
08-27 187
> db.order.find() { "_id" : ObjectId("61284410018a34fe9f76e303"), "order_id" : "1", "uid" : 10, "trade_no" : "111", "all_price" : 100, "all_num" : 2 } { "_id" : ObjectId("61284418018a34fe9f76e304"), "order_id" : "2", "uid" : 7, "trade_no" : "222", "all_
mongodb中的聚合管道查询
石光辉的博客
10-21 715
1.mongo的聚合管道查询，也就是连表查询，在下面的例子中没有用mongodb的语句查询，使用了封装的类。 public Flux<PostSaleHspAggregateBo> getPostSaleWaitCompletedList(PostSaleSearch search, Pageable pageable) { Criteria criteria1 = new Criteria(); String noGroup = "未分组";
运用NaviCat进行MongoDB查询管道操作索引等操作
m0_59628613的博客
09-17 3463
关于Mongodb基础操作如索引、查询、管道操作
MongoDB Aggregate的常用方式
牧凡的天空
12-04 647
db.audio_tb_gmvcs_police_situation.aggregate([ {$match:{ "handlers.org_path":{$regex:"^/44010000/"}, bjsj: { $gte: ISODate("2018-01-16T00:00:00+08:00"), ...
mongodb的聚合函数aggregate的$match和$group方法。
热门推荐
看不过的黑工坊
06-23 1万+
译自：https://docs.mongodb.com/manual/aggregation/ 1、创表： db.orders.insert( [ { cust_id:"A123", amount:500, status:"A" }, { cust_id:"A123", amount:250, status:"A" }, { cust_id:"B212", amou
mongodb管道聚合java
最新发布
05-30
MongoDB的管道聚合是一种查询方式，它可以将多个聚合阶段组合起来形成一个管道，从而完成复杂的数据处理和分析任务。通过管道聚合，可以对数据进行多种类型的操作，例如分组、筛选、排序等。 在Java中使用MongoDB的管道聚合，需要使用MongoDB的Java驱动程序。Java驱动程序提供了Aggregation类来实现管道聚合操作。通过Aggregation类，可以便捷地构造聚合管道并执行查询操作。 例如，以下是一个简单的Java程序，演示了如何使用管道聚合来查询MongoDB中的数据： ``` MongoCollection<Document> collection = database.getCollection("my_collection"); List<Document> results = collection.aggregate(Arrays.asList( Aggregates.match(Filters.eq("status", "A")), Aggregates.group("$cust_id", Accumulators.sum("total", "$amount")) )).into(new ArrayList<>()); ``` 以上代码中，首先获取了名为"my_collection"的MongoDB集合。然后，通过Aggregates类中的match方法和group方法来构建聚合管道。match方法用于过滤符合条件的文档，group方法用于对文档进行分组，并计算每个分组内文档的总金额。最后，将查询结果存储在一个List对象中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值