aggregat聚合管道总结【一】

最新推荐文章于 2022-07-07 17:53:01 发布

风神.NET

最新推荐文章于 2022-07-07 17:53:01 发布

阅读量687

点赞数

分类专栏： Nosql之Mongodb数据库

原文链接：https://blog.csdn.net/WuLex

版权

Nosql之Mongodb数据库专栏收录该内容

25 篇文章 2 订阅

订阅专栏

聚合管道（aggregate）

什么是聚合管道(aggregation pipeline)

英文文档中是aggregation pipeline，直译为聚合管道，它可以对数据文档进行变换和组合。聚合管道是基于数据流概念，数据进入管道经过一个或多个stage，每个stage对数据进行操作（筛选，投射，分组，排序，限制或跳过）后输出最终结果。

管道操作符介绍

mongoDB有4类操作符用于文档的操作，例如find查询里面会用到的gte，in等。操作符以$开头，分为查询操作符，更新操作符，管道操作符，查询修饰符4大类。其中管道操作符是用于聚合管道中的操作符。

管道操作符的分类

阶段操作符（stage operators）
表达式操作符(expression operators)
累加器（accumulators）

mongodb官网文档

阶段操作符(stage Operators)
阶段操作符是使用于db.collection.aggregate方法里面，数组参数中的第一层

db.collection.aggregate([{阶段操作符：表述},{阶段操作符：表述}])

表达式操作符（Expression Operators）
表达式操作符主要用于在管道中构建表达式时使用，使用类似于函数那样需要参数，主要用于$project操作符中，用于构建表达式，
使用方法一般如下
方法1：

{ operator: [ argument1, argument2] }

方法2：

{ operator: argument }

累加器（Accumulators）

累加器本来只能使用与groud下，但是版本3.2或以上，部分累加器还能使用于project。当在group中使用时，累加器是针对每个分组使用的；当在project中使用时，累加器则是针对每个字面量起作用

常用阶段操作符

操作符	简述
$project	投射操作符，用于重构每一个文档的字段，可以提取字段，重命名字段，甚至可以对原有字段进行操作后新增字段
$match	匹配操作符，用于对文档集合进行筛选
$group	分组操作符，用于对文档集合进行分组
$unwind	拆分操作符，用于将数组中的每一个值拆分为单独的文档
$sort	排序操作符，用于根据一个或多个字段对文档进行排序
$limit	限制操作符，用于限制返回文档的数量
$skip	跳过操作符，用于跳过指定数量的文档
$lookup	连接操作符，用于连接同一个数据库中另一个集合，并获取指定的文档，类似populate
$count	统计操作符，用于统计文档的数量

阶段操作符详解

假设有一个保存用户的集合Users，一个文章的集合Articles，数据大致如下：
users:

[
    { name: 'John', age: 16, sex: male, city: guangzhou, _id: 1, ...},
    { name: 'Rose', age: 18, sex: female, city: beijing, _id: 2, ...},
    { name: 'Jack', age: 29, sex: male, city: guangzhou, _id: 3, ...},
    { name: 'Allen', age: 18, sex: female, city: beijing, _id: 4, ...},
    { name: 'Cruz', age: 22, sex: male, city: guangzhou, _id: 5, ...},
    { name: 'Peter', age: 18, sex: male, city: guangzhou, _id: 6, ...},
    { name: 'Kelly', age: 23, sex: female, city: shanghai, _id: 7, ...},
    ...
]

articles:

[
    { title: 'this is article A', author: 'John', _id: 1, ... },
    { title: 'this is article B', author: 'Jack', _id: 2, ... },
    { title: 'this is article C', author: 'Rose', _id: 3, ... },
    { title: 'this is article D', author: 'John', _id: 4, ... },
    { title: 'this is article E', author: 'John', _id: 5, ... },
    ...
]

$match 匹配操作符对文档集合进行筛选

用法：

{ $match: { <query> } }
示例：
查询用户年龄是18岁的用户

db.users.aggregate([{ $match: { age: "18"} }])

$project 投射操作符

说明：
重构每一个文档的字段，可提取字段，重命名字段，甚至可对原字段进行操作后新增字段

用法：

{ $project: { <specification(s)> } }
specofication的规则

规则	描述
字段名：1 or true	选择返回的字段
_id: 0 or false	不返回_id(默认返回)
字段名：表达式	使用表达式，可以用于重命名字段，或对其值进行操作，或新增字段
字段名：0 or false	选择需要不返回什么字段，注意：当使用这种用法时，就不要用上面的方法

示例1：

用户集合投射用户姓名
不返回_id

db.users.aggregate([{ $project: { name: 1} }])

示例2：

将_id重命名为userid
不返回id

db.users.aggregate([{ $project: { userid: '$_id', _id: 0} }])

示例3：

返回新字段username,并使用表达式让它的值为name的大写

db.users.aggregate([
  { 
    $project: {
      name: 1,
      username: { $toUpper: '$name' },
      _id: 0
    } 
  }
])

注：关于管道表达式：最简单的“project”表达式是包含和排除字段(如: { name: 1 })，以及字段名称fieldname(如: { userId: ‘_id’ })。除此以外，还可以使用表达式操作符(如:toUpper)构成更丰富的表达式，将多个字面量和变量组合在一起使用，得到更多有意思的值

$sort 排序操作符

说明：
根据一个或多个字段对文档进行排序
用法：

{ $sort: { <field1>: <sort order>, <field2>: <sort order> ...} }

示例：

users集合按照年龄age从低到高排序

db.users.aggregate([{ $sort: { age: 1 } }])

$limit 限制操作符

说明：
限制返回的文档的数量
用法：

{ $limit: <positive integer> }
示例：

返回5篇article

db.articles.aggregate([{ $limit: 5 }])

$skip 跳过操作符

说明：
跳过指定数量的文档
用法：

{ $skip: <positive integer> }
示例：

跳过1个文档

db.articles.aggregate([{ $skip: 1 }])

$count 统计操作符

说明：
统计文档的数量
用法：

{ $sount: <string> }
示例：

统计文章的总数，以totalArticle返回

db.articles.aggregate([{ totalArticle: 1 }])

$group 分组操作符

说明：
对文档集合进行分组
用法：

{ $group: { _id: <expression>,<field1>: { <accumulator1>: <expression1> }, ...}}
注：_id是必须的，用于分组的依据条件
示例：

将用户(users)按性别（sex）分组

db.users.aggregate([{ $KaTeX parse error: Expected '}', got 'EOF' at end of input: group: { _id: '$ sex’} }])
返回结果：

[
  { _id: 'male' },
  { _id: 'female' }
]

进阶示例：

将用户(users)按性别（sex）分组
分组后使用计算各自性别的平均年龄
统计不同的性别的人数，并以count返回

db.users.aggregate([
  {
    $group: {
      _id: '$sex',
      avgAge: { $avg: '$age' },  // 求平均值
      count: { $num: 1 }  // 汇总
    }
  }
])

返回结果：

[
  { _id: 'male', avgAge: <男性平均年龄>, count: <男性人数> },
  { _id: 'female', avgAge: <女性平均年龄>, count: <女性人数> }
]

$unwind 拆分操作符

说明：
将数组中的每一个值拆分为单独的文档
用法：

{ $unwind: <field path>}
3.2+版本的用法：

{
  $unwind:
    {
      path: <field path>,
      includeArrayIndex: <string>,
      preserveNullAndEmptyArrays: <boolean>
    }
}

字段	类型	描述
path	string	必填，数组的字段名，指定需要拆分的字段
includeArrayIndex	string	可选，定义返回的字段名，返回的值是拆分前值在原数组的位置
preserveNullAndEmptyArrays	boolean	可选，配置在path的值为空或缺失的情况下是否拆分，默认false

示例：

// 原数据
{ title: 'this is article A', author: 'John', _id: 1, comments: ['a', 'b', 'c']}  

db.articles.aggregate([{ $unwind: '$comments' }])  

// 结果 
[
    { title: 'this is article A', author: 'John', _id: 1, comments: 'a'},
    { title: 'this is article A', author: 'John', _id: 1, comments: 'b'},
    { title: 'this is article A', author: 'John', _id: 1, comments: 'c'},
]

进阶示例：

// 原始数据
[
    { title: 'this is article A', author: 'John', _id: 1, comments: ['a', 'b', 'c'] }
    { title: 'this is article B', author: 'Jack', _id: 2 },
    { title: 'this is article C', author: 'Amy', _id: 3, comments: [] },
    { title: 'this is article D', author: 'Lam', _id: 4, comments: null },
]

// 操作  
db.articles.aggregate([
  {
    $unwind: {
      path: '$comments',
      includeArrayIndex: 'arrayIndex',
    }
  }
])

// 结果  
[
    { title: 'this is article A', author: 'John', _id: 1, comments: 'a', arrayIndex: NumberLong(0) },
    { title: 'this is article A', author: 'John', _id: 1, comments: 'b', arrayIndex: NumberLong(1) },
    { title: 'this is article A', author: 'John', _id: 1, comments: 'c', arrayIndex: NumberLong(2) },
]

// 操作
db.articles.aggregate([
    { 
        $unwind: {
            path: '$comments',
            preserveNullAndEmptyArrays: true,
        }
    }
]);

// 结果  
[
    { title: 'this is article A', author: 'John', _id: 1, comments: 'a' },
    { title: 'this is article A', author: 'John', _id: 1, comments: 'b' },
    { title: 'this is article A', author: 'John', _id: 1, comments: 'c' },
    { title: 'this is article B', author: 'Jack', _id: 2 },
    { title: 'this is article C', author: 'Amy', _id: 3 },
    { title: 'this is article C', author: 'Amy', _id: 3, comments: null }
]

$lookup 连接操作符

说明：
连接同一个数据库中另一个集合，并获取指定的文档，类似于populate

用法：

{
   $lookup:
     {
       from: <collection to join>,
       localField: <field from the input documents>,
       foreignField: <field from the documents of the "from" collection>,
       as: <output array field>
     }
}

字段	描述
form	需要关联的集合名
localField	本集合中需要查找的字段
foreignField	另外一个集合中需要关联的字段
as	输出的字段名

示例：

ariticles中的author关联到user表
authoer字段返回详细的用户的信息

db.articles.aggregate([
  {
    $lookup:
      {
        from: "users",
        localField: "author",
        foreignField: "name",
        as: "author"
      }
  }
])

综合示例

找出发表文章最多的5位作者，按发表文章排序，显示他的发表文章的总次数，和他自己的信息

文章按照作者分组,统计次数
按照次数从高到低排序
截取头5名
关联用户信息
不输出文章_id

操作：

db.articles.aggregate([
  {
    $group: {
      _id: '$author',
      count: { $sum: 1 },
    }
  },
  {
    $sort: { count: -1 }
  },
  {
    $skip: 5
  },
  {
    $lookup: {
      from: 'users',
      localField: 'author',
      foreignField: 'name',
      as: 'author'
    }
  },
  {
    $project: {
      _id: 0
    }
  }
])

风神.NET

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
aggregat聚合管道总结【一】

聚合管道（aggregate）什么是聚合管道(aggregation pipeline)英文文档中是aggregation pipeline，直译为聚合管道，它可以对数据文档进行变换和组合。聚合管道是基于数据流概念，数据进入管道经过一个或多个stage，每个stage对数据进行操作（筛选，投射，分组，排序，限制或跳过）后输出最终结果。管道操作符介绍mongoDB有4类操作符用于文档的操作，例如find查询里面会用到的gte，in等。操作符以$开头，分为查询操作符，更新操作符，管道操作符，查询修饰符4
复制链接

扫一扫