2024年运维最全MongoDB复杂分组聚合查询_mongodb分组查询，2024年最新Linux运维程序设计基础

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

> 
> v3.2+支持如下语法
> 
> 
> 

{
KaTeX parse error: Expected '}', got '#' at position 47: …d path>, #̲可选,一个新字段的名称用于存放…开头。
includeArrayIndex: ,
#可选，default :false，若为true,如果路径为空，缺少或为空数组，则$unwind输出文档
preserveNullAndEmptyArrays:
}
}

如果为输入文档中不存在的字段指定路径，或者该字段为空数组，则$unwind默认会忽略输入文档，并且不会输出该输入文档的文档。

版本3.2中的新功能：要输出数组字段丢失的文档，null或空数组，请使用选项preserveNullAndEmptyArrays。


示例



> 
> 以下聚合使用$unwind为loc数组中的每个元素输出一个文档：
> 
> 
> 

db.zips.aggregate([
{
“KaTeX parse error: Expected 'EOF', got '}' at position 53: … } }̲, { …unwind”: “$loc”
}
]).pretty();

db.zips.aggregate([
{
“KaTeX parse error: Expected 'EOF', got '}' at position 53: … } }̲, { …unwind”: {
“path”: “$loc”,
“includeArrayIndex”: “locIndex”,
“preserveNullAndEmptyArrays”: true
}
}
]).pretty();

![在这里插入图片描述](https://img-blog.csdnimg.cn/60634edcff4e4decbead1f778a538e15.png)


$project



> 
> $project可以从文档中选择想要的字段，和不想要的字段（指定的字段可以是来自输入文档或新计算字段的现有字段），也可以通过管道表达式进行一些复杂的操作，例如数学操作，日期操作，字符串操作，逻辑操作。
> 
> 
> 


语法



> 
> $project 管道符的作用是选择字段（指定字段，添加字段，不显示字段,\_id：0，排除字段等），重命名字段，派生字段。
> 
> 
> 

{ $project: { <specification(s)> } }

> 
> specifications有以下形式：
> 
> 
> 


`<field>`: `<1 or true>` 是否包含该字段，field:1/0，表示选择/不选择 field


`_id`: `<0 or false>` 是否指定\_id字段


`<field>`: `<expression>` 添加新字段或重置现有字段的值。 在版本3.6中更改：MongoDB 3.6添加变量REMOVE。如果表达式的计算结果为$$REMOVE，则该字段将排除在输出中。


`<field>`:`<0 or false>` v3.4新增功能，指定排除字段


* 默认情况下，\_id字段包含在输出文档中。要在输出文档中包含输入文档中的任何其他字段，必须明确指定 
 
 
 
 
 p 
 
 
 r 
 
 
 o 
 
 
 j 
 
 
 e 
 
 
 c 
 
 
 t 
 
 
 中的包含。如果指定包含文档中不存在的字段， 
 
 
 
 project中的包含。 如果指定包含文档中不存在的字段， 
 
 
 project中的包含。如果指定包含文档中不存在的字段，project将忽略该字段包含，并且不会将该字段添加到文档中。
* 默认情况下，*id字段包含在输出文档中。要从输出文档中排除*id字段，必须明确指定$project中的\_id字段为0。
* v3.4版新增功能-如果指定排除一个或多个字段，则所有其他字段将在输出文档中返回。 如果指定排除\_id以外的字段，则不能使用任何其他$project规范表单：即，如果排除字段，则不能指定包含字段，重置现有字段的值或添加新字段。此限制不适用于使用REMOVE变量条件排除字段。
* v3.6版本中的新功能- 从MongoDB 3.6开始，可以在聚合表达式中使用变量REMOVE来有条件地禁止一个字段。
* 要添加新字段或重置现有字段的值，请指定字段名称并将其值设置为某个表达式。
* 要将字段值直接设置为数字或布尔文本，而不是将字段设置为解析为文字的表达式，请使用 
 
 
 
 
 l 
 
 
 i 
 
 
 t 
 
 
 e 
 
 
 r 
 
 
 a 
 
 
 l 
 
 
 操作符。否则， 
 
 
 
 literal操作符。否则， 
 
 
 literal操作符。否则，project会将数字或布尔文字视为包含或排除该字段的标志。
* 通过指定新字段并将其值设置为现有字段的字段路径，可以有效地重命名字段。
* 从MongoDB 3.2开始，$project阶段支持使用方括号[]直接创建新的数组字段。如果数组规范包含文档中不存在的字段，则该操作会将空值替换为该字段的值。
* 在版本3.4中更改-如果$project 是一个空文档，MongoDB 3.4和更高版本会产生一个错误。
* 投影或添加/重置嵌入文档中的字段时，可以使用点符号


示例



> 
> 以下$project阶段的输出文档中只包含\_id，city和state字段
> 
> 
> 

db.zips.aggregate([
{
“$project”: {
“_id”: 1,
“city”: 1,
“state”: 1
}
}
]).pretty();

![在这里插入图片描述](https://img-blog.csdnimg.cn/80eeae59b9f3487ebe9491ce99396558.png)



> 
> `_id`字段默认包含在内。要从$ project阶段的输出文档中排除`_id`字段，请在project文档中将`_id`字段设置为0来指定排除\_id字段。
> 
> 
> 

db.zips.aggregate([
{
“$project”: {
“_id”: 0,
“city”: 1,
“state”: 1
}
}
]).pretty();

![在这里插入图片描述](https://img-blog.csdnimg.cn/05d8e68906b54aea9e55c2bc668832c3.png)



> 
> 以下$ project阶段从输出中排除loc字段
> 
> 
> 

db.zips.aggregate([
{
“$project”: {
“loc”: 0
}
}
]).pretty();

![在这里插入图片描述](https://img-blog.csdnimg.cn/ccbf7695cf6b4fbabb2c05d44f0d9c8f.png)



> 
> 可以在聚合表达式中使用变量REMOVE来有条件地禁止一个字段，
> 
> 
> 

db.zips.aggregate([
{
“KaTeX parse error: Expected '}', got 'EOF' at end of input: … "cond”: {
“if”: {
“$gt":["$pop”,
1000
]
},
“then”: “$$REMOVE","else":"$loc”
}
}
}
}
]).pretty();

![在这里插入图片描述](https://img-blog.csdnimg.cn/cd33005ad27a46f384946d8b555b7071.png)



> 
> 我们还可以改变数据，将人数大于1000的城市坐标重置为0
> 
> 
> 

db.zips.aggregate([
{
“KaTeX parse error: Expected '}', got 'EOF' at end of input: … "cond”: {
“if”: {
“$gt":["$pop”,
1000
]
},
“then”: [
0,
0
],
“else”: “$loc”
}
}
}
}
]).pretty();

![在这里插入图片描述](https://img-blog.csdnimg.cn/b4fc24e9bea74b63be140b8aa536a1d8.png)



> 
> 新增字段列
> 
> 
> 

db.zips.aggregate([
{
“KaTeX parse error: Expected '}', got 'EOF' at end of input: … "cond”: {
“if”: {
“$gt":["$pop”,
1000
]
},
“then”: “人数过多”,
“else”: “人数过少”
}
},
“loc”: {
“KaTeX parse error: Expected '}', got 'EOF' at end of input: … "gt”: [
“KaTeX parse error: Expected 'EOF', got '}' at position 86: … }̲, …loc”
}
}
}
}
]).pretty();

![在这里插入图片描述](https://img-blog.csdnimg.cn/5fd948f0c3dd4f3ba20316439c4f8d7d.png)


$limit



> 
> 限制传递到管道中下一阶段的文档数
> 
> 
> 


语法

{ $limit: }

> 
> 示例，此操作仅返回管道传递给它的前5个文档。 $limit对其传递的文档内容没有影响。
> 
> 
> 

db.zips.aggregate({
“$limit”: 5
});

注意

当$sort在管道中的$limit之前立即出现时，$sort操作只会在过程中维持前n个结果，其中n是指定的限制，而MongoDB只需要将n个项存储在内存中。当allowDiskUse为true并且n个项目超过聚合内存限制时，此优化仍然适用。

$skip



> 
> 跳过进入stage的指定数量的文档，并将其余文档传递到管道中的下一个阶段
> 
> 
> 


语法

{ $skip: }

> 
> 示例，此操作将跳过管道传递给它的前5个文档， $skip对沿着管道传递的文档的内容没有影响。
> 
> 
> 

db.zips.aggregate({
“$skip”: 5
});

$sort



> 
> 对所有输入文档进行排序，并按排序顺序将它们返回到管道。
> 
> 
> 


语法

{ $sort: { : , : … } }

> 
> $sort指定要排序的字段和相应的排序顺序的文档。 `<sort order>`可以具有以下值之一：
> 
> 
> 


* 1指定升序。
* -1指定降序。
* {$meta：“textScore”}按照降序排列计算出的textScore元数据。


示例



> 
> 要对字段进行排序，请将排序顺序设置为1或-1，以分别指定升序或降序排序，如下例所示：
> 
> 
> 

db.zips.aggregate([
{
“$sort”: {
“pop”: -1,
“city”: 1
}
}
])

![在这里插入图片描述](https://img-blog.csdnimg.cn/14f3eea694104afb95fad0b382e57ef3.png)


$sortByCount



> 
> 根据指定表达式的值对传入文档分组，然后计算每个不同组中文档的数量。每个输出文档都包含两个字段：包含不同分组值的\_id字段和包含属于该分组或类别的文档数的计数字段，文件按降序排列。
> 
> 
> 


语法

{ $sortByCount: }

## 3 使用示例



> 
> 下面举了一些常用的mongo聚合例子和mysql对比，假设有一条如下的数据库记录（表名：zips）作为例子：
> 
> 
> 


### 3.1 统计所有数据



> 
> SQL的语法格式如下
> 
> 
> 

select count(1) from zips;

> 
> mongoDB的语法格式
> 
> 
> 

db.zips.aggregate([
{
“KaTeX parse error: Expected '}', got 'EOF' at end of input: … "sum”: 1
}
}
}
])

![在这里插入图片描述](https://img-blog.csdnimg.cn/0b67913e28c848ffbe9e19ba62e98b51.png)


### 3.2 对所有城市人数求合



> 
> SQL的语法格式如下
> 
> 
> 

select sum(pop) AS tota from zips;

> 
> mongoDB的语法格式
> 
> 
> 

db.zips.aggregate([
{
“KaTeX parse error: Expected '}', got 'EOF' at end of input: … "sum”: “$pop”
}
}
}
])

![在这里插入图片描述](https://img-blog.csdnimg.cn/17ce65dda882439eb2500d5d3682175e.png)


### 3.3 对城市缩写相同的城市人数求合



> 
> SQL的语法格式如下
> 
> 
> 

select state,sum(pop) AS tota from zips group by state;

> 
> mongoDB的语法格式
> 
> 
> 

db.zips.aggregate([
{
“KaTeX parse error: Expected '}', got 'EOF' at end of input: … "\_id": "state”,
“total”: {
“$sum":"$pop”
}
}
}
])

![在这里插入图片描述](https://img-blog.csdnimg.cn/204fb6c6ad0041d1ae2474b8dd85a306.png)


### 3.4 state重复的城市个数



> 
> SQL的语法格式如下
> 
> 
> 

select state,count(1) AS total from zips group by state;

> 
> mongoDB的语法格式
> 
> 
> 

db.zips.aggregate([
{
“KaTeX parse error: Expected '}', got 'EOF' at end of input: … "\_id": "state”,
“total”: {
“$sum”: 1
}
}
}
])

![在这里插入图片描述](https://img-blog.csdnimg.cn/cc65155fcd1f499fa8d1adb91e6fee84.png)


### 3.5 state重复个数大于100的城市



> 
> SQL的语法格式如下
> 
> 
> 

select state,count(1) AS total from zips group by state having count(1)>100;

> 
> mongoDB的语法格式
> 
> 
> 

db.zips.aggregate([
{
“KaTeX parse error: Expected '}', got 'EOF' at end of input: … "\_id": "state”,
“total”: {
“KaTeX parse error: Expected 'EOF', got '}' at position 21: … 1 }̲ } …match”: {
“total”: {
“$gt”: 100
}
}
}
])

![在这里插入图片描述](https://img-blog.csdnimg.cn/573b43877048464fb749469fcc4144b5.png)


## 4 MapReduce

MongoDB的聚合操作主要是对数据的批量处理，一般都是将记录按条件分组之后进行一系列求最大值，最小值，平均值的简单操作，也可以对记录进行数据统计，数据挖掘的复杂操作，聚合操作的输入是集中的文档，输出可以是一个文档也可以是多个文档。

Pipeline查询速度快于MapReduce，但是MapReduce的强大之处在于能够在多台Server上并行执行复杂的聚合逻辑，MongoDB不允许Pipeline的单个聚合操作占用过多的系统内存，如果一个聚合操作消耗20%以上的内存，那么MongoDB直接停止操作，并向客户端输出错误消息。

### 4.1 什么是MapReduce



> 
> MapReduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）
> 
> 
> 

mapreduce使用javascript语法编写，其内部也是基于javascript V8引擎解析并执行，javascript语言的灵活性也让mapreduce可以处理更加复杂的业务场景；当然这相对于aggreation pipleine而言，意味着需要书写大量的脚本，而且调试也将更加困难。（调试可以基于javascript调试，成功后再嵌入到mongodb中）

#### 4.1.1 执行阶段



> 
> mapreduce有2个阶段：map和reduce；
> 
> 
> 


* mapper处理每个document，然后emits一个或者多个objects，object为key-value对；
* reducer将map操作的结果进行联合操作（combine）。此外mapreduce还可以有一个finalize阶段，这是可选的，它可以调整reducer计算的结果。在进行mapreduce之前，mongodb支持使用query来筛选文档，也支持sort排序和limit。


### 4.1.2 语法



> 
> MapReduce 的基本语法如下：
> 
> 
> 

db.collection.mapReduce(
function() {
this – document

    emit(key,value);

}, //map 函数
function(key,values) {
key,values
return reduceFunction

}, //reduce 函数
{
out: collection,
query: document,
sort: document,
limit: number,
finalize: ,
scope: ,
jsMode: ,
verbose:
}
)

> 
> 使用 MapReduce 要实现两个函数 Map 函数和 Reduce 函数,Map 函数调用 emit(key, value), 遍历 collection 中所有的记录, 将 key 与 value 传递给 Reduce 函数进行处理。
> 
> 
> 


参数说明


* map：是JavaScript 函数，负责将每一个输入文档转换为零或多个文档，通过key进行分组，生成键值对序列,作为 reduce 函数参数
* reduce：是JavaScript 函数，对map操作的输出做合并的化简的操作（将key-values变成key-value，也就是把values数组变成一个单一的值value）
* out：统计结果存放集合 (不指定则使用临时集合,在客户端断开后自动删除)。
* query： 一个筛选条件，只有满足条件的文档才会调用map函数。（query。limit，sort可以随意组合）
* sort： 和limit结合的sort排序参数（也是在发往map函数前给文档排序），可以优化分组机制
* limit： 发往map函数的文档数量的上限（要是没有limit，单独使用sort的用处不大）
* finalize：可以对reduce输出结果再一次修改，跟group的finalize一样，不过MapReduce没有group的4MB文档的输出限制
* scope：向map、reduce、finalize导入外部变量
* verbose：是否包括结果信息中的时间信息，默认为fasle


### 4.1.3 使用示例


按照state分组统计


样例SQL

select by,count(1) from blog group by by having likes>100

mapReduce写法



> 
> 这是统计每一个作者的博客分数是100以上的文章数
> 
> 
> 

db.zips.mapReduce(
function(){
emit(this.state,1);
},
function(key,values){
return Array.sum(values);
},
{
query:{pop:{$gt:100}},
out:“result001”,
}
)

输出结果



> 
> 将结果输出
> 
> 
> 

显示集合

show tables;

查询结果集数据

db.result001.find({})

![在这里插入图片描述](https://img-blog.csdnimg.cn/d43a38802c3f4303a931c62d6ff2f21c.png)


### 4.1.4 编程语法



> 
> 在mongodb中，mapreduce除了包含mapper和reducer之外，还包含其他的一些选项，不过整体遵循mapreduce的规则：
> 
> 
> 


map



> 
> javascript方法，此方法中可以使用emit(key,value)，一次map调用中允许返回调用多次emit（也可以不调用），它不需要返回值；其中key用来分组，value将来会被传递给reducer用于“聚合计算”。每条document都会调用一次map方法。
> 
> 
> 

mapper中输入的是当前document，可以通过this.<filedName>来获取字段的值。mapper应该是封闭的，它不能访问外部资源，比如collection、database，不能修改外部的值，但允许访问“scope”中的变量。emit的值不能大于16M，即document最大的尺寸，否则mongodb将会抛出错误。

function() {
this.items.forEach(function(item) {emit(item.sku,1);}); //多次emit
}

reduce



> 
> javascript方法，此方法接收key和values两个参数，经过mapper处理和“归并之后”，一个key将会对应一组values（分组，key:values），此values将会在reduce中进行“聚合计算”，比如：sum、平均数、数据分拣等等。
> 
> 
> 

reducer和mapper一样是封闭的，它内部不允许访问database、collection等外部资源，不能修改外部值，但可以访问“scope”中的变量；如果一个key只有一个value，那么mongodb就不会调用reduce方法。可能一个key对应的values条数很多，将会调用多次reduce，即前一次reduce的结果可能被包含在values中再次传递给reduce方法，这也要求，reduce返回的结果需要和value的结构保持一致。同样，reduce返回的数据尺寸不能大于8M（document最大尺寸的一半，因为reduce的结果可能会作为input再次reduce）。

//mapper
function() {
emit(this.categoryId,{‘count’ : 1});
}

//reducer
function(key,values) {
var current = {‘count’ : 0};
values.forEach(function(item) { current.count += item.count;});
return current;
}

此外reduce内的算法需要是幂等的，且与输入values的顺序无关的，因为即使相同的input文档，也无法保证map-reduce的每个过程都是逐字节相同的，但应该确保计算的结果是一致的。

out



> 
> document结构，包含一些配置选项；用于指定reduce的结果最终如何保存。可以将结果以inline的方式直接输出（cursor），或者写入一个collection中。
> 
> 
> 

out : {
:
[,db:]
[,sharded:]
[,nonAtomic:]

out方式默认为inline，即不保存数据，而是返回一个cursor，客户端直接读取数据即可。


action



> 
> 表示如果保存结果的已经存在时，将如何处理：
> 
> 
> 


* replace：替换，替换原collection中的内容；先将数据保存在临时collection，此后rename，再将旧collection删除
* merge：将结果与原有内容合并，如果原有文档中持有相同的key（即\_id字段），则直接覆盖原值
* reduce：将结果与原有内容合并，如果原有文档中有相同的key，则将新值、旧值合并后再次应用reduce方法，并将得到的值覆盖原值（对于“用户留存”、“数据增量统计”非常有用）。


db

结果数据保存在哪个database中，默认为当前db；开发者可能为了进一步使用数据，将统计结果统一放在单独的database中

sharded

输出结果的collection将使用sharding模式，使用_id作为shard key；不过首先需要开发者对<collection>所在的database开启sharding，否则将无法执行。

nonAtomic



> 
> “非原子性”，仅对“merge”和“replace”有效，控制output collection，默认为false，即“原子性”；
> 
> 
> 

即mapreduce在输出阶段将会对output collection所在的数据库加锁，直到输出结束，可能性能会有影响；

如果为true，则不会对db加锁，其他客户端可以读取到output collection的中间状态数据。我们通常将ouput collection单独放在一个db中，和application数据分离开，而且nonAtomic为false，我们也不希望用户读到“中间状态数据”。

可以通过指定“out:{inline : 1}”将输出结果保存在内存中，并返回一个cursor，客户端可以直接读取即可。

query



> 
> 筛选文档，只需要将符合条件的documents传递给mapper
> 
> 
> 


sort



![](https://img-blog.csdnimg.cn/img_convert/9a8cb5f8c0ec69e6499adead0da6e95b.png)


最全的Linux教程，Linux从入门到精通

======================

1.  **linux从入门到精通(第2版)**

2.  **Linux系统移植**

3.  **Linux驱动开发入门与实战**

4.  **LINUX 系统移植 第2版**

5.  **Linux开源网络全栈详解 从DPDK到OpenFlow**



![华为18级工程师呕心沥血撰写3000页Linux学习笔记教程](https://img-blog.csdnimg.cn/img_convert/59742364bb1338737fe2d315a9e2ec54.png)



第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。



![华为18级工程师呕心沥血撰写3000页Linux学习笔记教程](https://img-blog.csdnimg.cn/img_convert/9d4aefb6a92edea27b825e59aa1f2c54.png)



**本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读，同时也非常适合准备从事Linux平台开发的各类人员。**

> 需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**