MongoDB系列之一文总结索引

概述

分类

索引的分类:

  • 按照索引包含的字段数量,可分为单键索引(单字段索引)和组合索引(联合索引、复合索引)
  • 按照索引字段的类型,可以分为主键索引和非主键索引
  • 按照索引节点与物理记录的对应方式来分,可以分为聚簇索引和非聚簇索引,其中聚簇索引是指索引节点上直接包含了数据记录,而后者则仅仅包含一个指向数据记录的指针
  • 按照索引的特性不同,可分为唯一索引、稀疏索引、文本索引、地理空间索引等

索引介绍

单键索引和复合索引

创建单键索引:db.user.ensureIndex({ income: 1});

单字段索引对内嵌字段创建索引:db.user.ensureIndex({ health.height: 1}); // 健康指标信息

创建复合索引:db.user.ensureIndex({ income: 1, health.height: 1});

数组索引

数组索引,也被称为多值索引(multikey index),当对数组型的字段创建索引时,这个索引就是多值的。多值索引在使用上与普通索引并没有什么不同,只是在索引键上会同时产生多个值。数组索引必然会使索引的条目和体积发生膨胀。

多值索引和复合索引可以一起使用,即复合索引前面的字段是非数组类型,后面的字段是数组类型(这个先后顺序,和关系型数据库组合索引最左匹配原则是一个意思)。MongoDB不支持一个复合索引中同时出现多个多值索引,即不允许出现多个数组类型字段。

db.user.ensureIndex({ age: 1, hobbies: 1}); // OK, 可以有多个爱好
db.user.ensureIndex({ hobbies: 1, careers: 1}); // wrong, 职业经历(生涯)

地理空间索引

LBS,Location Based Service,基于地理位置的检索。

2dsphere

MongoDB有两种类型的地理空间索引:2dsphere和2d。2dsphere索引可以与基于WGS84基准的地球球面几何模型一起使用。这个基准将地球表面模拟成一个扁圆球体,这意味着在两极会比较扁。使用 2dsphere 索引的距离计算考虑到地球的形状,提供比2d索引更准确的距离处理,如计算两个城市之间的距离。在存储二维平面上的点时使用2d索引。

2dsphere允许以GeoJSON格式指定点、线和多边形。点由一个二元数组给出,[经度,纬度],即[longitude,latitude]。GeoJSON格式是固定的:

"location" : {
    "type" : "Point",
    "coordinates" : [50, 2]
}

即type和coordinates两个字段名不能更改,type枚举值有:Point、LineString、Polygon。location可以使用其他名称,如loc。

创建一个地理空间索引:db.shop.createIndex({ loc: "2dsphere"})。可使用三种类型的地理空间查询:交集(intersection)、包含(within)和接近(nearness)。

查询:

db.shop.find({
	loc: {
		$near: {$geometry: {type: Point, coordinates: [121.615, 31.190] } },
		$maxDistance: 1000,
	}
})

$near操作符,用于实现附近店铺的检索,返回数据结果会按距离排序。$geometry操作符用于指定一个GeoJSON格式的地理空间对象,type=Point表示地理坐标点,coordinates则是用户当前所在的经纬度位置;$maxDistance限定最大距离,单位是米。

注意点:

  • MongoDB的地理空间检索基于WGS84坐标系,在与一些地图平台集成时需要注意转换,如GCJ-02(火星坐标系)、BD-09(百度中国坐标系)
  • MongoDB 4.0版本之后,near可以用于分片集合(sharded collection),而在此版本之前可以使用geoNear聚合操作来代替

2d

对于非球面地图(电子游戏地图、时间序列数据等),可使用2d索引代替2dsphere索引:db.game.createIndex({ 'tile': '2d' }, );

默认情况下,2d 索引会假设取值范围为-180到180。如果希望对边界大小进行调整,则可以指定最小值和最大值作为createIndex的选项:db.game.ensureIndex({ 'tile': '2d'}, {min: -1000, max: 1000});

2d索引支持$geoWithin$nearSphere$near查询选择器。

应该使用 $geoWithin查询在平面上定义的形状内的点。$geoWithin可以查询矩形、多边形、圆形或球体内的所有点,它使用$geometry运算符来指定 GeoJSON 对象。

db.game.find({tile: {$geoWithin: {$box: [[0, 0], [10, 10]]}}}); // 查询左下角为[0, 0]、右上角为[10, 10]的矩形内的文档,即坐标
db.game.find({tile: {$geoWithin: {$center: [[0, 0], 5]}}}); // 查询圆心为[0, 0]、半径为5的圆形内的坐标
db.game.find({tile: {$geoWithin: {$polygon: [[0, 0], [3, 6], [3, 0]]}}}); // 查询三个点指定的三角形(多边形)内的所有文档

由于历史遗留原因,MongoDB支持在平面2d索引上执行球面查询,结合$geoWithin$centerSphere运算符。指定一个数组,其中包括圆心坐标和以弧度为单位的圆半径:db.game.find({tile: {$geoWithin: {$centerSphere: [[0, 0], 0.01]}}});

临近查询会返回距离给定点最近的坐标对的文档,并按照距离对结果进行排序:db.game.find({tile: {$near: [0, 0]}});

全文搜索索引

MongoDB Atlas全文搜索索引(full-text search index)基于Apache Lucene。

MongoDB text索引支持全文搜索,不同于精确匹配搜索、模糊搜索、正则表达式搜索。text索引需要一定数量的与被索引字段中单词成比例的键。创建text索引可能会消耗大量的系统资源。有分片时,则还会减慢数据移动的速度:当迁移到一个新分片时,所有文本都必须重新进行索引。

创建全文索引:

db.articles.createIndex(
{"title": "text", "body": "text"},
{"weights" : {"title" : 3, "body" : 2}}
)

全文索引中的字段顺序并不重要,等同对待。如果要区别对待,可通过weights对每个字段指定权重来控制不同字段的相对重要性。索引一旦创建,就不能改变字段的权重,除非删除索引再重建。

对于某些集合,如果不知道文档包含哪个字段。可以使用$**在文档的所有字符串字段上创建全文本索引。这样做不仅会对顶层的字符串字段建立索引,也会搜索内嵌文档和数组中的字符串字段。

文本索引存在诸多限制,如并未提供中文分词功能,应用场景有限。

TTL索引

并非所有的数据都需要持久化存储,即过了一定时间段后,可以执行硬删除,如监控业务日志。TTL索引对于此场景提供支持。

TTL索引需要声明在一个日期类型的字段上:db.sysLog.ensureIndex({ 'createDate': 1}, { expireAfterSeconds: 3600 });。为systemlog集合声明一个TTL索引,指向createdDate字段,expireAfterSeconds=3600表示数据将在createdDate之后3600秒(1小时)后过期。

MongoDB会在周期性运行的后台线程中对该集合进行检查及数据清理工作。TTL索引具有普通索引的功能,同样可以用于加速数据的查询。

修改TTL索引过期时间:db.runCommand({collMod: 'sysLog', index: {keyPattern: {createDate: 1}, expireAfterSeconds: 7200 }});

需要注意以下限制:

  • 只能支持单个字段,且必须是非_id字段
  • TTL索引不能用于固定集合
  • TTL索引无法保证及时的数据老化,MongoDB会通过后台的TTL Monitor定时器来清理老化数据,典型的间隔时间是1分钟。当然如果在数据库负载过高的情况下,TTL的行为则会进一步受到影响
  • TTL索引对于数据的清理仅仅使用remove命令,并不是很高效。TTL Monitor在运行期间对系统CPU、磁盘都会造成一定的压力。相比之下,按日期分表的方式操作会更加高效

条件索引

partial index,条件索引允许只对部分文档建立索引。

db.book.createIndex({ 'name': 1}, { partialFilterExpression: {rateing: {$gt: 8 } } });

上面的SQL对书籍评分超过8分的文档才创建索引。

稀疏索引

模糊索引

索引特性

唯一性索引

通过unique=true选项可将索引定义为唯一性索引:db.user.ensureIndex({ name: 1 }, { unique: true });

也可用于复合索引:db.book.ensureIndex({ type: 1, title: 1}, { unique: true }); // 分类下的书籍标题保持唯一性

也可用于嵌套文档::db.user.ensureIndex({ 'health.height': 1}, { unique: true });

嵌套文档的唯一性约束根据不同的MongoDB版本,其行为不太一致。以6.0.5版本来说,字段的位置无所谓,MongoDB会识别出来:
在这里插入图片描述
对数组索引使用唯一性约束,可以保证所有的文档之间不会存在重叠的数组元素:db.user.ensureIndex({ 'careers': 1}, { unique: true });。数组索引上的唯一性约束并无法保证同一个文档中包含重复的元素。需要从应用层进行distinct去重处理,如使用Set集合。

db.user.insertOne({careers: ['DevOps', 'IT manager']});
db.user.insertOne({careers: ['doctor', 'nurse', 'doctor']});

注意事项:

  • 唯一性索引对于文档中缺失的字段,会使用null值代替,因此不允许存在多个文档缺失索引字段的情况。

集合现在有2条数据:
在这里插入图片描述
对一个新增字段创建索引:db.user.ensureIndex({ 'health.height': 1}, { unique: true });,报错:Write failed with error code 11000 and error message 'Index build failed: caused by :: E11000 duplicate key error collection: test.user index: health.height_1 dup key: { health.height: null }'

  • 对于分片的集合,唯一性约束必须匹配分片规则。换句话说,为了保证全局的唯一性,分片键必须作为唯一性索引的前缀字段。

ensureIndex和createIndex

进阶

explain

和关系型数据库一样,MongoDB也提供explain命令帮助评估指定查询模型(query model)的计划。

命令db.getSiblingDB("corpus").getCollection('mds_factors').find().explain('executionStats');执行输出:

[
  {
    "$clusterTime": {
      "clusterTime": {"$timestamp": {"t": 1706014465, "i": 1}},
      "signature": {
        "hash": {"$binary": {"base64": "ZFjBv3to5hMaqrdVckd9c0qZh7M=", "subType": "00"}},
        "keyId": 7281537397286764545
      }
    },
    "executionStats": {
      "executionSuccess": true,
      "nReturned": 1,
      "executionTimeMillis": 5,
      "totalKeysExamined": 1,
      "totalDocsExamined": 1,
      "executionStages": {
        "stage": "FETCH",
        "nReturned": 1,
        "executionTimeMillisEstimate": 0,
        "works": 2,
        "advanced": 1,
        "needTime": 0,
        "needYield": 0,
        "saveState": 0,
        "restoreState": 0,
        "isEOF": 1,
        "invalidates": 0,
        "docsExamined": 1,
        "alreadyHasObj": 0,
        "inputStage": {
          "stage": "IXSCAN",
          "nReturned": 1,
          "executionTimeMillisEstimate": 0,
          "works": 2,
          "advanced": 1,
          "needTime": 0,
          "needYield": 0,
          "saveState": 0,
          "restoreState": 0,
          "isEOF": 1,
          "invalidates": 0,
          "keyPattern": {
            "key": 1
          },
          "indexName": "key",
          "isMultiKey": false,
          "multiKeyPaths": {
            "key": []
          },
          "isUnique": false,
          "isSparse": false,
          "isPartial": false,
          "indexVersion": 2,
          "direction": "forward",
          "indexBounds": {
            "key": ["[\"factor:Age\", \"factor:Age\"]"]
          },
          "keysExamined": 1,
          "seeks": 1,
          "dupsTested": 0,
          "dupsDropped": 0,
          "seenInvalidated": 0
        }
      }
    },
    "ok": 1,
    "operationTime": {"$timestamp": {"t": 1706014465, "i": 1}},
    "queryPlanner": {
      "plannerVersion": 1,
      "namespace": "corpus.mds_factors",
      "indexFilterSet": false,
      "parsedQuery": {
        "key": {
          "$eq": "factor:Age"
        }
      },
      "winningPlan": {
        "stage": "FETCH",
        "inputStage": {
          "stage": "IXSCAN",
          "keyPattern": {
            "key": 1
          },
          "indexName": "key",
          "isMultiKey": false,
          "multiKeyPaths": {
            "key": []
          },
          "isUnique": false,
          "isSparse": false,
          "isPartial": false,
          "indexVersion": 2,
          "direction": "forward",
          "indexBounds": {
            "key": ["[\"factor:Age\", \"factor:Age\"]"]
          }
        }
      },
      "rejectedPlans": []
    },
    "serverInfo": {
      "host": "mongodb-replicaset-2",
      "port": 27017,
      "version": "3.6.20",
      "gitVersion": "39c200878284912f19553901a6fea4b31531a899"
    }
  }
]

解读:

  • winningPlan:表示获胜的计划,即数据库经过一系列评估后选择的最优计划,stage=COLLSCAN表示全表扫描,IXSCAN表示索引扫描
  • executionStats:描述执行的过程信息。nReturned指返回结果条数,而totalDocsExamined表明整个过程扫描多少条记录

参考

  • 21
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

johnny233

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值