MongoDB 学习笔记七 排序、索引、聚合

MongoDB 排序

MongoDB sort（）方法

在 MongoDB 中使用 sort（）方法对数据进行排序，sort（）方法可以用过参数排序的字段，并使用 1 和 -1 来指定排序的方式，其中 1 为升序排列，而 -1 是用于降序排列。

语法

sort（）方法基本语法如下所示：

>db.COLLECTION_NAME.find().sort({KEY:1})

实例

col 集合中的数据如下：

{ "_id" : ObjectId("56066542ade2f21f36b0313a"), "title" : "PHP 教程", "description" : "PHP 是一种创建动态交互性站点的强有力的服务器端脚本语言。", "by" : "菜鸟教程", "url" : "http://www.runoob.com", "tags" : [ "php" ], "likes" : 200 }
{ "_id" : ObjectId("56066549ade2f21f36b0313b"), "title" : "Java 教程", "description" : "Java 是由Sun Microsystems公司于1995年5月推出的高级程序设计语言。", "by" : "菜鸟教程", "url" : "http://www.runoob.com", "tags" : [ "java" ], "likes" : 150 }
{ "_id" : ObjectId("5606654fade2f21f36b0313c"), "title" : "MongoDB 教程", "description" : "MongoDB 是一个 Nosql 数据库", "by" : "菜鸟教程", "url" : "http://www.runoob.com", "tags" : [ "mongodb" ], "likes" : 100 }

以下实例演示了 col 集合中的数据按字段 likes 的降序排列：

>db.col.find({},{"title":1,_id:0}).sort({"likes":-1})
{ "title" : "PHP 教程" }
{ "title" : "Java 教程" }
{ "title" : "MongoDB 教程" }
>

skip（）、limit（）、sort（）三个放在一起执行的时候，执行的顺序是先 sort（），然后是 skip（），最后是显示的 limit（）。

MongoDB 索引

索引通常能够极大的提高查询的效率，如果没有索引，MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。

这种扫描集合的查询效率是非常低的，特别是处理大量的数据时，查询可以要话费几十秒甚至几分钟，这对网站的性能是非常致命的。

索引时特殊的数据结构，索引存储在一个易于遍历读取的数据集合中，索引是对数据库表中一列或多了的值进行排序的一种结构

createIndex（）方法

MongoDB 使用 createIndex（）方法来创建索引。

注意：在3.0.0版本前创建索引方法为 db.collection.ensureindex（），之后的版本使用了 db.collection.createIndex（）方法，ensureIndex（）还能用，但只是 createIndex（）别名。

语法

createIndex（）方法基本语法格式如下所示：

>db.collection.createIndex(keys, options)

语法中 Key 值为你要创建的索引字段，1 为执行按升序创建索引，如果你想按降序来创建索引指定为 -1 即可。

实例

>db.col.createIndex({"title":1})
>

createIndex 方法中 你也可以设置使用多个字段创建索引（关系型数据库中称作符合索引）。

>db.col.createIndex({"title":1,"description":-1})
>

createIndex（）接受可选参数，可选参数列表如下：

Parameter	Type	Description
background	Boolean	建索引过程会阻塞其它数据库操作，background可指定以后台方式创建索引，即增加 "background" 可选参数。 "background" 默认值为false。
unique	Boolean	建立的索引是否唯一。指定为true创建唯一索引。默认值为false.
name	string	索引的名称。如果未指定，MongoDB的通过连接索引的字段名和排序顺序生成一个索引名称。
dropDups	Boolean	3.0+版本已废弃。在建立唯一索引时是否删除重复记录,指定 true 创建唯一索引。默认值为 false.
sparse	Boolean	对文档中不存在的字段数据不启用索引；这个参数需要特别注意，如果设置为true的话，在索引字段中不会查询出不包含对应字段的文档.。默认值为 false.
expireAfterSeconds	integer	指定一个以秒为单位的数值，完成 TTL设定，设定集合的生存时间。
v	index version	索引的版本号。默认的索引版本取决于mongod创建索引时运行的版本。
weights	document	索引权重值，数值在 1 到 99,999 之间，表示该索引相对于其他索引字段的得分权重。
default_language	string	对于文本索引，该参数决定了停用词及词干和词器的规则的列表。 默认为英语
language_override	string	对于文本索引，该参数指定了包含在文档中的字段名，语言覆盖默认的language，默认值为 language.

实例

在后台创建索引：

db.values.createIndex({open: 1, close: 1}, {background: true})

通过在创建索引时加 background：true ，让创建工作在后台执行。

其他操作：

1. 查看集合索引

db.col.getIndexes()

2. 查看集合索引大小

db.col.totalIndexSize()

3. 删除集合所有索引

db.col.dropIndexes()

4. 删除集合指定索引

db.col.dropIndex("索引名称")

利用 TTL 集合对存储的数据进行失效时间设置：讲过指定的时间段或在指定的时间点过期，MongoDB独立线程去清除数据。类似于设置定时自动删除任务，可以清除历史记录或日志等前提条件，设置 index 的关键字段 为 日期类型 new Date（）。

例如数据记录中 createDate 为日期类型时：

• 设置时间 180 秒后自动清除。
• 设置在创建记录后，180 秒左右删除。

db.col.createIndex({"createDate": 1},{expireAfterSeconds: 180})

有记录中设定日期点清除。

设置 A记录在 2019 年 1月 22 日晚上 11点左右删除，A 记录中需添加 “ClearUpDate”：new Date（‘Jan 22,2019 23:00:00’），且 index 中 expireAfterSeconds 设值为 0。

db.col.createIndex({"ClearUpDate": : new Date('Jan 22, 2019 23:00:00')},{expireAfterSeconds: 0})

其他注意事项：

• 索引关键字段必须是 Date 类型。
• 非立即执行：扫描 Document 过期数据并删除是独立线程执行，默认 60秒 扫描一次，删除也不一定是立即删除成功。
• 单字段索引，混合索引不支持。

MongoDB 聚合

MongoDB 中聚合（aggregate）主要用于处理数据（统计平均值，求和等），并返回计算后的数据结果。有点类似sql 语句中的 count（*）。

aggregate（）方法

MongoDB 中聚合的方法使用 aggregate（）。

语法

aggregate（）方法的基本语法格式如下所示：

>db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)

实例

集合中的数据如下：

{
   _id: ObjectId(7df78ad8902c)
   title: 'MongoDB Overview', 
   description: 'MongoDB is no sql database',
   by_user: 'runoob.com',
   url: 'http://www.runoob.com',
   tags: ['mongodb', 'database', 'NoSQL'],
   likes: 100
},
{
   _id: ObjectId(7df78ad8902d)
   title: 'NoSQL Overview', 
   description: 'No sql database is very fast',
   by_user: 'runoob.com',
   url: 'http://www.runoob.com',
   tags: ['mongodb', 'database', 'NoSQL'],
   likes: 10
},
{
   _id: ObjectId(7df78ad8902e)
   title: 'Neo4j Overview', 
   description: 'Neo4j is no sql database',
   by_user: 'Neo4j',
   url: 'http://www.neo4j.com',
   tags: ['neo4j', 'database', 'NoSQL'],
   likes: 750
},

现在我们通过以上集合计算每个作者所写的文章数，使用 aggregate（）计算结果如下：

> db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : 1}}}])
{
   "result" : [
      {
         "_id" : "runoob.com",
         "num_tutorial" : 2
      },
      {
         "_id" : "Neo4j",
         "num_tutorial" : 1
      }
   ],
   "ok" : 1
}
>

以上实例类似sql 语句：

select by_user, count(*) from mycol group by by_user

在上面的例子中，我们通过字段 by_user 字段对数据进行分组，并计算 by_user 字段相同值的总和。

下面展示了一些聚合的表达式：

表达式	描述	实例
$sum	计算总和。	db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : "$likes"}}}])
$avg	计算平均值	db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$avg : "$likes"}}}])
$min	获取集合中所有文档对应值得最小值。	db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$min : "$likes"}}}])
$max	获取集合中所有文档对应值得最大值。	db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$max : "$likes"}}}])
$push	在结果文档中插入值到一个数组中。	db.mycol.aggregate([{$group : {_id : "$by_user", url : {$push: "$url"}}}])
$addToSet	在结果文档中插入值到一个数组中，但不创建副本。	db.mycol.aggregate([{$group : {_id : "$by_user", url : {$addToSet : "$url"}}}])
$first	根据资源文档的排序获取第一个文档数据。	db.mycol.aggregate([{$group : {_id : "$by_user", first_url : {$first : "$url"}}}])
$last	根据资源文档的排序获取最后一个文档数据	db.mycol.aggregate([{$group : {_id : "$by_user", last_url : {$last : "$url"}}}])

管道的概念

管道在 Unix 和 Linux 一般用于将当前命令的输出结果作为下一个命令的参数。

MongoDB的聚合管道将 MongoDB 文档在一个管道处理完毕后将结果传递下一个管理处理。管理操作时可以重复的。

表达式：处理输入文档并输出。表达式是无状态的，只能用于计算当前聚合管道的文档，不能处理其它的文档。

这里我们介绍一下聚合框架中常用的几个操作：

• $project：修改输入文档的结构，可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。
• $match：用于过滤数据，只输出符合条件的文档。$match 使用 MongoDB 的标准查询操作。
• $limit：用来限制 MongoDB 聚合管道返回的文档数。
• $skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。
• $unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。
• $group：将集合中的温江分组，可用于统计结果。
• $sort：将输入文档排序后输出。
• $geoNear：输出接近某一地理位置的有序文档。

管道操作符实例

1. $project 实例

db.article.aggregate(
    { $project : {
        title : 1 ,
        author : 1 ,
    }}
 );

这样的话结果中就只还有_id，title 和 author 三个字段了，默认情况下 _id 字段是被包含的，如果向不包含 _id 话可以这样：

db.article.aggregate(
    { $project : {
        _id : 0 ,
        title : 1 ,
        author : 1
    }});

2. $match 实例

db.articles.aggregate( [
                        { $match : { score : { $gt : 70, $lte : 90 } } },
                        { $group: { _id: null, count: { $sum: 1 } } }
                       ] );

$match 用于获取分数大于 70 小于或等于 90 记录，然后将符合条件的记录送到下一阶段 $gorup 管道操作符进行处理。

3. $skip实例

db.article.aggregate(
    { $skip : 5 });

经过 $skip 管道操作符处理后，前五个文档被“过滤”掉

db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : 1}}}])

以上实例类似 sql 语句：

select by_user as _id, count(*) as num_tutorial from mycol group by by_user

db.articles.aggregate({
    $project : {
        title: 2,
        by_user: 1,
    }
})

这样子也是可行的。也就是说非 0 也可以进行表示显示该字段，负数也可以表示显示该字段。

按日、月、年、周、小时、分钟聚合操作如下：

db.getCollection('m_msg_tb').aggregate(
[
    {$match:{m_id:10001,mark_time:{$gt:new Date(2017,8,0)}}},
    {$group: {
       _id: {$dayOfMonth:'$mark_time'},
        pv: {$sum: 1}
        }
    },
    {$sort: {"_id": 1}}
])

时间关键字如下：

• $dayOfYear：返回该日期是这有年的第几天（全年 366 天）
• $dayOfMonth：返回该日期是这一个月的第几天（1 到 31）
• $dayOfWeek：返回的屙屎这个周的星期几（1：星期日，7：星期六）。
• $year：返回该日期的年份部分。
• $month： 返回该日期的月份部分（ 1 到 12）。
• $week： 返回该日期是所在年的第几个星期（ 0 到 53）。
• $hour： 返回该日期的小时部分。
• $minute: 返回该日期的分钟部分。
• $second: 返回该日期的秒部分（以0到59之间的数字形式返回日期的第二部分，但可以是60来计算闰秒）。
• $millisecond：返回该日期的毫秒部分（ 0 到 999）。
• $dateToString： { $dateToString: { format: , date: } }。