Mongodb中group与索引使用记录

MongoDB中聚合(aggregate)

主要用于处理数据，如：平均值、求和等操作。使用aggregate()方法

group-聚合函数

• group常常用于统计(返回结果集不能超过16M，处理数据不能超过10000条)

db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)

表达式	描述	实例
$sum	总数	db.COLLECTION_NAME.aggregate([{$group: {title:{$sum:"$title_value"}}}])
$avg	平均值	db.COLLECTION_NAME.aggregate([{$group: {num:{$avg:"$value"}}}])
$min	最小值	db.COLLECTION_NAME.aggregate([{$group: {title:{$min :"$value"}}}])
$max	最大值	db.COLLECTION_NAME.aggregate([{$group: {title:{$max:"$value"}}}])
$push	添加指定的值到数组中	db.COLLECTION_NAME.aggregate([{$group: {title:{$push:"$title_value"}}}])
$addToSet	添加值到一个数组中去，如果数组中已经存在该值那么将不会有任何的操作	db.COLLECTION_NAME.aggregate([{$group: {title:{$addToSet:"$title_value"}}}])
$first	获取排序后的第一个文档数据。	db.COLLECTION_NAME.aggregate([{$group: {title:{$first:"$title"}}}])
$last	获取排序后的最后一个文档数据	db.COLLECTION_NAME.aggregate([{$group: {title:{$last:"$title"}}}])

管道的概念

• 管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。

• MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。

• 表达式：处理输入文档并输出。表达式是无状态的，只能用于计算当前聚合管道的文档，不能处理其它的文档。

这里我们介绍一下聚合框架中常用的几个操作：

$project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。
$match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。
$limit：用来限制MongoDB聚合管道返回的文档数。
$skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。
$unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。
$group：将集合中的文档分组，可用于统计结果。
$sort：将输入文档排序后输出。
$geoNear：输出接近某一地理位置的有序文档。
$unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值. 将数组拆分成一个一个的数据 (相当于分组的逆操作)

如果是将所有列都添加到数组中用 $push:$$ROOT

MongoDB索引原理

• 对应索引是用来提高查询效率的，当你的的数据量小的时候，索引提现不出来价值，当数据量大的时候，数据查询所花费的时间就不得不考虑了。

MongoDB中的索引机制

当你往某各个集合插入多个文档后，每个文档在经过底层的存储引擎持久化后，会有一个位置信息，通过这个位置信息，就能从存储引擎里读出该文档。比如mmapv1引擎里，位置信息是『文件id + 文件内offset 』， 在wiredtiger存储引擎（一个KV存储引擎）里，位置信息是wiredtiger在存储文档时生成的一个key，通过这个key能访问到对应的文档；用position来代表位置信息举例。

位置信息	文档
position1	{“title”:“title1”,“num”:“1”}
position2	{“title”:“title2”,“num”:“2”}
position3	{“title”:“title3”,“num”:“1”}
…	…

当需要查询某个条件的数据时(num=1),需要遍历所有文档，即全表扫描,根据位置信息返回数据

db.person.createIndex( {num: 1} ) // 按num字段创建升序索引

• 建立索引后，MongoDB会额外存储一份按num字段升序排序的索引数据，索引结构类似如下，索引通常采用类似btree的结构持久化存储，以保证从索引里快速（O(logN)的时间复杂度）找出某个num值对应的位置信息，然后根据位置信息就能读取出对应的文档。
• 简单的说，索引就是将文档按照某个（或某些）字段顺序组织起来，以便能根据该字段高效的查询。
• MongoDB支持多种类型的索引，包括单字段索引、复合索引、多key索引、文本索引等。

单字段索引 （Single Field Index）

db.person.createIndex( {num: 1} )  

单字段索引是mongodb中最常见的数据类型，其中默认的_id就是使用这个类型。其中 1 代表升序 -1未降序。

复合索引 (Compound Index)

db.person.createIndex( {num: 1, title: 1,···} ) 

复合索引针对多个字段联合创建索引，先按第一个字段排序，第一个字段相同的文档按第二个字段排序，依次类推。

多key索引 （Multikey Index）

当索引的字段为数组时，创建出的索引称为多key索引，多key索引会为数组的每个元素建立一条索引，比如person表加入一个habbit字段（数组）用于描述兴趣爱好，需要查询有相同兴趣爱好的人就可以利用habbit字段的多key索引。

{"title" : "title1", "num" : 1, habbit: ["ss, xxx"]}
db.person.createIndex( {habbit: 1} )  // 自动创建多key索引
db.person.find( {habbit: "football"} )

其他类型索引

哈希索引（Hashed Index）是指按照某个字段的hash值来建立索引，目前主要用于MongoDB Sharded Cluster的Hash分片，hash索引只能满足字段完全匹配的查询，不能满足范围查询等。

地理位置索引（Geospatial Index）能很好的解决O2O的应用场景，比如『查找附近的美食』、『查找某个区域内的车站』等。

文本索引（Text Index）能解决快速文本查找的需求，比如有一个博客文章集合，需要根据博客的内容来快速查找，则可以针对博客内容建立文本索引。

索引额外属性

• MongoDB除了支持多种不同类型的索引，还能对索引定制一些特殊的属性。

唯一索引 (unique index)：保证索引对应的字段不会出现相同的值，比如_id索引就是唯一索引

TTL索引：可以针对某个时间字段，指定文档的过期时间（经过指定时间后过期 或 在某个时间点过期）

部分索引 (partial index): 只针对符合某个特定条件的文档建立索引，3.2版本才支持该特性

稀疏索引(sparse index): 只针对存在索引字段的文档建立索引，可看做是部分索引的一种特殊情况

索引优化

MongoDB支持对DB的请求进行profiling，目前支持3种级别的profiling。

• 0： 不开启profiling
• 1： 将处理时间超过某个阈值(默认100ms)的请求都记录到DB下的system.profile集合 （类似于mysql、redis的slowlog）
• 2： 将所有的请求都记录到DB下的system.profile集合（生产环境慎用）
  通常，生产环境建议使用1级别的profiling，并根据自身需求配置合理的阈值，用于监测慢请求的情况，并及时的做索引优化。

如果能在集合创建的时候就能『根据业务查询需求决定应该创建哪些索引』，当然是最佳的选择；但由于业务需求多变，要根据实际情况不断的进行优化。索引并不是越多越好，集合的索引太多，会影响写入、更新的性能，每次写入都需要更新所有索引的数据；所以你system.profile里的慢请求可能是索引建立的不够导致，也可能是索引过多导致。