MongoDB-第五章-索引

最新推荐文章于 2023-03-16 21:38:22 发布
最新推荐文章于 2023-03-16 21:38:22 发布
阅读量473 收藏
点赞数
分类专栏： 技术学习 文章标签： mongodb 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WeiPeng2K/article/details/120270042
版权
索引        索引如同字典的目录一样，是用来加速查询的。具有正确索引的查询会比没有索引的查询快几个数量级，当随着数据量级变大时，愈发明显。索引简介        首先我们准备一个集合author_test_collection，集合中的文档主要包括了，以下几个字段：name和age，其中name的类型是字符串，而age是整型。记住，任
摘要由CSDN通过智能技术生成

索引

        索引如同字典的目录一样，是用来加速查询的。具有正确索引的查询会比没有索引的查询快几个数量级，当随着数据量级变大时，愈发明显。

索引简介

        首先我们准备一个集合author_test_collection，集合中的文档主要包括了，以下几个字段：name和age，其中name的类型是字符串，而age是整型。

记住，任何文档都会包含一个_id字段

        集合中包含了100万个元素。

> db.author_test_collection.count();
1000000

        查找name为Author-3000的文档，通过explain命令，可以输出执行计划。

> db.author_test_collection.find({"name":"Author-3000"}).explain("executionStats")
{
	"queryPlanner" : {
		"plannerVersion" : 1,
		"namespace" : "test.author_test_collection",
		"indexFilterSet" : false,
		"parsedQuery" : {
			"name" : {
				"$eq" : "Author-3000"
			}
		},
		"winningPlan" : {
			"stage" : "COLLSCAN",
			"filter" : {
				"name" : {
					"$eq" : "Author-3000"
				}
			},
			"direction" : "forward"
		},
		"rejectedPlans" : [ ]
	},
	"executionStats" : {
		"executionSuccess" : true,
		"nReturned" : 1,
		"executionTimeMillis" : 652,
		"totalKeysExamined" : 0,
		"totalDocsExamined" : 1000000,
		"executionStages" : {
			"stage" : "COLLSCAN",
			"filter" : {
				"name" : {
					"$eq" : "Author-3000"
				}
			},
			"nReturned" : 1,
			"executionTimeMillisEstimate" : 570,
			"works" : 1000002,
			"advanced" : 1,
			"needTime" : 1000000,
			"needYield" : 0,
			"saveState" : 7812,
			"restoreState" : 7812,
			"isEOF" : 1,
			"invalidates" : 0,
			"direction" : "forward",
			"docsExamined" : 1000000
		}
	},
	"serverInfo" : {
		"host" : "c40e51fb2caa",
		"port" : 27017,
		"version" : "3.6.9",
		"gitVersion" : "167861a164723168adfaaa866f310cb94010428f"
	},
	"ok" : 1
}

        我们先不用关注执行计划中输出的内容细节，看几个主要的数据指标。

问题 分析
查询走全表扫描 stage的描述是COLLSCAN，这个表示全表扫描
执行耗时比较长 executionTimeMillis执行耗时在652毫秒，这个已经很长了
工作开销很大 works是MongoDB将操作分解为更细力度的操作单元，这里要耗费1000002个

        通过使用ensureIndex可以创建集合的索引，这里根据name属性创建对应的索引：

> db.author_test_collection.ensureIndex({"name": 1})
{
	"createdCollectionAutomatically" : false,
	"numIndexesBefore" : 1,
	"numIndexesAfter" : 2,
	"ok" : 1
}

        ensureIndex会在指定的key上建立索引，同时第二个参数表示该索引的方向，其中1表示升序，而-1表示降序。对于大多数查询场景来说，区别不大，因为对于索引的执行总是从中间开始，但是升序会保证最开始的数据会在内存中，这是一个细微的差别。

MongoDB的索引和MySQL索引类似，都是左匹配。

        使用getIndexes命令，可以查看当前集合上的索引情况。

> db.author_test_collection.getIndexes()
[
	{
		"v" : 2,
		"key" : {
			"_id" : 1
		},
		"name" : "_id_",
		"ns" : "test.author_test_collection"
	},
	{
		"v" : 2,
		"key" : {
			"name" : 1
		},
		"name" : "name_1",
		"ns" : "test.author_test_collection"
	}
]

        可以看到，集合author_test_collection上有两个索引，其中name_1是新添加的。新增索引后，再次执行先前的执行计划，看一下效果。

> db.author_test_collection.find({"name":"Author-3000"}).explain("executionStats")
{
	"queryPlanner" : {
		"plannerVersion" : 1,
		"namespace" : "test.author_test_collection",
		"indexFilterSet" : false,
		"parsedQuery" : {
			"name" : {
				"$eq" : "Author-3000"
			}
		},
		"winningPlan" : {
			"stage" : "FETCH",
			"inputStage" : {
				"stage" : "IXSCAN",
				"keyPattern" : {
					"name" : 1
				},
				"indexName" : "name_1",
				"isMultiKey" : false,
				"multiKeyPaths" : {
					"name" : [ ]
				},
				"isUnique" : false,
				"isSparse" : false,
				"isPartial" : false,
				"indexVersion" : 2,
				"direction" : "forward",
				"indexBounds" : {
					"name" : [
						"[\"Author-3000\", \"Author-3000\"]"
					]
				}
			}
		},
		"rejectedPlans" : [ ]
	},
	"executionStats" : {
		"executionSuccess" : true,
		"nReturned" : 1,
		"executionTimeMillis" : 1,
		"totalKeysExamined" : 1,
		"totalDocsExamined" : 1,
		"executionStages" : {
			"stage" : "FETCH",
			"nReturned" : 1,
			"executionTimeMillisEstimate" : 0,
			"works" : 2,
			"advanced" : 1,
			"needTime" : 0,
			"needYield" : 0,
			"saveState" : 0,
			"restoreState" : 0,
			"isEOF" : 1,
			"invalidates" : 0,
			"docsExamined" : 1,
			"alreadyHasObj" : 0,
			"inputStage" : {
				"stage" : "IXSCAN",
				"nReturned" : 1,
				"executionTimeMillisEstimate" : 0,
				"works" : 2,
				"advanced" : 1,
				"needTime" : 0,
				"needYield" : 0,
				"saveState" : 0,
				"restoreState" : 0,
				"isEOF" : 1,
				"invalidates" : 0,
				"keyPattern" : {
					"name" : 1
				},
				"indexName" : "name_1",
				"isMultiKey" : false,
				"multiKeyPaths" : {
					"name" : [ ]
				},
				"isUnique" : false,
				"isSparse" : false,
				"isPartial" : false,
				"indexVersion" : 2,
				"direction" : "forward",
				"indexBounds" : {
					"name" : [
						"[\"Author-3000\", \"Author-3000\"]"
					]
				},
				"keysExamined" : 1,
				"seeks" : 1,
				"dupsTested" : 0,
				"dupsDropped" : 0,
				"seenInvalidated" : 0
			}
		}
	},
	"serverInfo" : {
		"host" : "c40e51fb2caa",
		"port" : 27017,
		"version" : "3.6.9",
		"gitVersion" : "167861a164723168adfaaa866f310cb94010428f"
	},
	"ok" : 1
}

        可以看到stage已经从 COLLSCAN 变为了 IXSCAN，也就是说从全表扫描变为了按照索引扫描。有了索引，就好比查字典时有了字母的顺序，使得不用翻遍整个字典才能找到需要的内容，工作量也会减少。可以看到work只有4(2 + 2)，从1000002下降到4，是非常显著的，相差了百万个量级。

        但是并不是我们将需要查询的字段都放到索引中就可以，有时我们的查询需要考虑顺序，比如：

db.author_test_collection.find({"name":"Author-2000"}).sort({"age":1})

        该查询用来查询名称为Author-2000的所有作者，同时按照age正序（小到大）排序返回。可以输出以下执行计划（重点部分）。

"executionStages" : {
			"stage" : "SORT",
			"nReturned" : 1,
			"executionTimeMillisEstimate" : 0,
			"works" : 5,
			"advanced" : 1,
			"needTime" : 3,
			"needYield" : 0,
			"saveState" : 0,
			"restoreState" : 0,
			"isEOF" : 1,
			"invalidates" : 0,
			"sortPattern" : {
				"age" : 1
			},
			"memUsage" : 118,
			"memLimit" : 33554432,
			"inputStage" : {
				"stage" : "SORT_KEY_GENERATOR",
				"nReturned" : 1,
				"executionTimeMillisEstimate" : 0,
				"works" : 3,
				"advanced" : 1,
				"needTime" : 1,
				"needYield" : 0,
				"saveState" : 0,
				"restoreState" : 0,
				"isEOF" : 1,
				"invalidates" : 0,
				"inputStage" : {
					"stage" : "FETCH",
					"nReturned" : 1,
					"executionTimeMillisEstimate" : 0,
					"works" : 2,
					"advanced" : 1,
					"needTime" : 0,
					"needYield" : 0,
					"saveState" : 0,
					"restoreState" : 0,
					"isEOF" : 1,
					"invalidates" : 0,
					"docsExamined" : 1,
					"alreadyHasObj" : 0,
					"inputStage" : {
						"stage" : "IXSCAN",
						"nReturned" : 1,
						"executionTimeMillisEstimate" : 0,
						"works" : 2,
						"advanced" : 1,
						"needTime" : 0,
						"needYield" : 0,
						"saveState" : 0,
						"restoreState" : 0,
						"isEOF" : 1,
						"invalidates" : 0,
						"keyPattern" : {
							"name" : 1
						},
						"indexName" : "name_1",
						"isMultiKey" : false,
						"multiKeyPaths" : {
							"name" : [ ]
						},
						"isUnique" : false,
						"isSparse" : false,
						"isPartial" : false,
						"indexVersion" : 2,
						"direction" : "forward",
						"indexBounds" : {
							"name" : [
								"[\"Author-2000\", \"Author-2000\"]"
							]
						},
						"keysExamined" : 1,
						"seeks" : 1,
						"dupsTested" : 0,
						"dupsDropped" : 0,
						"seenInvalidated" : 0
					}
				}
			}
		},
		"allPlansExecution" : [ ]

        可以看到首先查询的数据会消耗2个work通过IXSCAN索引扫描命中数据，然后经过FETCH阶段，消耗2个work将数据取出，取出的数据需要经历SORT_KEY_GENERATOR消耗1个work进行排序器的生成（虽然只有一个数据），最终通过SORT阶段消耗5个work将数据完成排序后返回。

总计开销是10个work

        对于数据的查询输入，有name和age两个参数，在age上有排序，下面在name和age上建立索引。

db.author_test_collection.ensureIndex({"name":1, "age":1})

        然后再次执行，可以看到执行计划有所变化。

"executionStages" : {
			"stage" : "FETCH",
			"nReturned" : 1,
			"executionTimeMillisEstimate" : 0,
			"works" : 3,
			"advanced" : 1,
			"needTime" : 0,
			"needYield" : 0,
			"saveState" : 0,
			"restoreState" : 0,
			"isEOF" : 1,
			"invalidates" : 0,
			"docsExamined" : 1,
			"alreadyHasObj" : 0,
			"inputStage" : {
				"stage" : "IXSCAN",
				"nReturned" : 1,
				"executionTimeMillisEstimate" : 0,
				"works" : 2,
				"advanced" : 1,
				"needTime" : 0,
				"needYield" : 0,
				"saveState" : 0,
				"restoreState" : 0,
				"isEOF" : 1,
				"invalidates" : 0,
				"keyPattern" : {
					"name" : 1,
					"age" : 1
				},
				"indexName" : "name_1_age_1",
				"isMultiKey" : false,
最低0.47元/天 解锁文章
WeiPeng2K
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
MongoDB (五) 索引机制
July_whj
04-10 2197
一、相关术语 1.1、Index/Key/DataPage 索引、键、数据页分别是什么？ 什么是索引 Covered Query,覆盖查询 如果所有需要的字段都在索引中，不需要额外的字段，就可以不再需要从数据页加载数据，这就是查询覆盖。 db.human.createIndex({firstName: 1, lastName: 1, gender: 1, age: 1}) IXSCAN/COLLSCAN 索引扫描/集合扫描（全表扫描） Query Shape 查询形态，即查询条件：不
云上MongoDB常见索引问题及最优索引规则大全
杨建荣的学习笔记
04-11 1227
本文干货较多，建议收藏学习。先将文章结构速览奉上：一、背景二、MongoDB执行计划2.1 queryPlanner信息2.2 executionStats信息2.3 allPlansExecution信息三、云上用户建索引常见问题及优化方法3.1 等值类查询常见问题及优化方法3.1.1 同一类查询创建多个索引问题3.1.2 多字段等值查询组合索引顺序非最...
《MongoDB入门教程》第29篇 复合索引
Tony.Dong的专栏
03-16 1074
本文介绍了 MongoDB 复合索引的概念，以及如何创建复合索引。复合索引遵循最左前缀原则。
MongoDB索引的一些问题和使用规则
LXC的博客
11-18 2293
由于项目业务需要用到大数据量，且对事务方面要去不高，所以从各种数据库中挑选出mongodb非关系数据库为最优解，但是业务数据越来越多，导致页面接口查询效率变低。-索引分类。
MongoDB 内存排序在索引创建前后的效果样例
dyh200896的专栏
09-26 923
假设一个collection tygzJyrzVO，有7512条数据 数据长这样子的 试图排序后拿前10条数据 报排序超过了最大内存限制异常。报错的完整信息如下 Error: error: { "operationTime" : Timestamp(1569469310, 2), "ok" : 0, "errmsg" : "Executor error during...
mongodb-4.0.5
05-19
5. **索引优化**: MongoDB支持多种类型的索引，如单字段、复合、地理空间等，以加速查询速度。在4.0.5版本中，索引的创建和使用可能有进一步的优化，提升了查询效率。 6. **安全增强**: MongoDB 4.0.5可能包含了...
mongodb-win32-x86_64-2008plus-ssl-4.0.3
11-06
5. **绿色版MongoDB**：这个版本是绿色免安装版，用户只需解压缩文件到任意目录，然后启动相应的可执行文件即可运行MongoDB服务，无需经过标准的安装流程，方便快捷，也便于在不同环境间迁移。 6. **运行MongoDB**...
mongodb-osx-ssl-x86_64-4.0.9.tgz
03-27
1. 支持最新的 MongoDB 特性：这个版本的 Mongoose 可能已经更新，以便与 MongoDB 4.0.9 版本兼容，包括事务处理、聚合管道增强、新的索引类型等。 2. 查询优化：Mongoose 提供了强大的查询构造器，能够编写复杂的...
MongoDB3.5-HaoSQL
最新发布
05-04
HaoSQL，可能是指一个针对MongoDB的优化工具或者一种SQL查询方式，尽管在标准MongoDB中并不直接支持SQL语法，但有一些第三方工具或接口可以实现类似的功能，使得非SQL背景的开发者也能更方便地操作MongoDB。...
mongodb-example
07-12
9. **其他特性**：MongoDB 支持事务、聚合、索引、地理空间查询等高级功能，可以根据需要在 Node.js 应用中使用。 在 "mongodb-example" 示例中，通过查看不同分支，你可以逐步了解如何实现这些功能。这将帮助你...
数据库性能优化1——正确建立索引以及最左前缀原则
Jerry的一亩三分地
03-24 589
1. 索引建立的原则 用于索引的最好的备选数据列是那些出现在WHERE子句、join子句、ORDER BY或GROUP BY子句中的列。 仅仅出现在SELECT关键字后面的输出数据列列表中的数据列不是很好的备选列SELECT col_a <- 不是备选列 FROM tbl1 LEFT JOIN tbl2 ON tbl1.col_b = tbl2.col_c <- 备选列 ...
mongodb -模糊匹配
zz_xyz的博客
04-06 1621
1、完全匹配 Pattern pattern = Pattern.compile("^name$", Pattern.CASE_INSENSITIVE); 2、右匹配 Pattern pattern = Pattern.compile("^.*name$", Pattern.CASE_INSENSITIVE); 3、左匹配 Pattern pattern = Pattern.compil...
mongodb 左联结写法
u014788633的博客
05-27 3697
MongoDB + JasperSoft 实现复杂报表查询写出本文档的原因是之前的项目做过Oracle 数据库的报表实现,之后所在项目选用的数据库是MongoD B,在此期间遇到过很多MongoDB关系型遇到的坑,本着服务后人的心得,写出此文. mongoDb是一个非关系型数据库,是文档型的数据库,它的数据结构是树形结构,而传统类型的报表都是以行展示,所以我们的mongodb的数据
MongoDB索引最佳实践
dch9210的博客
04-25 570
MongoDB Index 文章目录MongoDB Index#0 什么是索引#1 MongoDB索引原理#2 何时不建议使用索引#3 何时应该使用索引#4 子文档字段建立索引的效率问题#5 显式地指定索引#6 OR条件查询注意事项#7 对子文档建立索引的注意事项#8 Mongo4.2新特性：Wildcard Index#9 Mongo4.2新特性：Full Text Search #0 什么是索引 寻找扑克牌游戏 有方片A~10这样10张扑克牌，现在牌全都盖住，我们需要从中找到方片5，怎么做？ [外链图片
SpringData MongoDB模糊查询
钟渊博客
03-20 6155
一、不区分大小写 //完全匹配 Pattern pattern = Pattern.compile("^张$", Pattern.CASE_INSENSITIVE); //右匹配 Pattern pattern = Pattern.compile("^.*张$", Pattern.CASE_INSENSITIVE); //左匹配 Pattern pattern = Pattern.compile
联合索引的最左前缀匹配原则
z69183787的专栏
01-23 3246
https://www.jianshu.com/p/b7911e0394b0 CREATE TABLE `user2` ( `userid` int(11) NOT NULL AUTO_INCREMENT, `username` varchar(20) NOT NULL DEFAULT '', `password` varchar(20) NOT NULL DEFAULT ''...
【MongoDB】常用操作记录
xmzmqx的博客
09-05 1576
一、SpringBoot相关 1、模糊搜索 Criteria criteria = Criteria.where("字段1").regex(".*?" + query + ".*?"); 2、多个字段模糊搜索 Criteria criteria = new Criteria().orOperator( Criteria.where("字段1").regex(query), Criteria.where("字段2").r...
《MongoDB实战》第2版-第5章-Mongodb查询1
08-03
2 | 第 5 章：构建查询第 5 章构建查询本章内容查询一种电子商务数据模型MongoDB查询语言的详细内容查询选择器及其选项MongoDB不使用SQL语言，

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WeiPeng2K

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值