MongoDB优化

最新推荐文章于 2024-05-29 11:42:27 发布
最新推荐文章于 2024-05-29 11:42:27 发布
阅读量607 收藏 1
点赞数 1
分类专栏： Redis + MongoDB 文章标签： mongodb 性能优化 索引 慢查询 hint
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010520724/article/details/110057092
版权

备注:
MongoDB 4.2 版本

文章目录

一.查询分析器

1.1 启用查询分析器

> use test
switched to db test
> db.setProfilingLevel(1);
{ "was" : 0, "slowms" : 100, "sampleRate" : 1, "ok" : 1 }
>

1.2 禁用查询分析器

> use test
switched to db test
> db.setProfilingLevel(0);
{ "was" : 1, "slowms" : 100, "sampleRate" : 1, "ok" : 1 }
>

1.3 记录慢查询

-- 只记录执行超过半秒钟的查询
db.setProfilingLevel(1,500);
-- 所有查询启用分析器
db.setProfilingLevel(2);

测试记录:

> use test
switched to db test
> db.setProfilingLevel(1,500);
{ "was" : 0, "slowms" : 100, "sampleRate" : 1, "ok" : 1 }
> db.setProfilingLevel(2);
{ "was" : 1, "slowms" : 500, "sampleRate" : 1, "ok" : 1 }
> 
> 
> 
> db.setProfilingLevel(1,500);
{ "was" : 2, "slowms" : 500, "sampleRate" : 1, "ok" : 1 }
>

1.4 查找慢查询

use test;
db.system.profile.find();
-- 查询所有执行时间长于10毫秒的查询，然后按执行时间对结果进行降序排序：
db.system.profile.find({millis:{$gt:10}}).sort({millis:-1});

每条记录返回的字段含义和作用：
op：操作类型，可以是query、insert、update、command或delete。
query：正在运行的查询。
ns：查询所在的完整命名空间。
ntoreturn：返回文档的数目。
nscanned：为返回该文档而扫描的索引条目数目。
ntoskip：被忽略的文档数目。
keyUpdates：该查询更新的索引键数目。
numYields：该查询为其它查询让出锁的次数。
lockStats：数据库花费在获取读写锁上的毫秒数。
nreturned：返回文档的数目。
responseLength：响应的字节长度。
millis：执行查询所花费的毫秒数。
ts：以UTC格式显示查询执行时的时间戳。
client：运行该查询的客户端连接信息。
user：运行该操作的用户。

图形化界面看起来更直关
image.png

1.5 增大分析器集合的大小

use test;
db.setProfilingLevel(0);
db.system.profile.drop();
db.createCollection( "system.profile", { capped: true, size: 50 * 1024 * 1024 } );
db.setProfilingLevel(2);

测试记录:

> use test;
switched to db test
> db.setProfilingLevel(0);
{ "was" : 1, "slowms" : 500, "sampleRate" : 1, "ok" : 1 }
> db.system.profile.drop();
true
> db.createCollection( "system.profile", { capped: true, size: 50 * 1024 * 1024 } );
{ "ok" : 1 }
> db.setProfilingLevel(2);
{ "was" : 0, "slowms" : 500, "sampleRate" : 1, "ok" : 1 }
>

二.explain

> db.t2.find().explain(true)
{
        "queryPlanner" : {
                "plannerVersion" : 1,
                "namespace" : "test.t2",
                "indexFilterSet" : false,
                "parsedQuery" : {

                },
                "winningPlan" : {
                        "stage" : "COLLSCAN",
                        "direction" : "forward"
                },
                "rejectedPlans" : [ ]
        },
        "executionStats" : {
                "executionSuccess" : true,
                "nReturned" : 1000000,
                "executionTimeMillis" : 366,
                "totalKeysExamined" : 0,
                "totalDocsExamined" : 1000000,
                "executionStages" : {
                        "stage" : "COLLSCAN",
                        "nReturned" : 1000000,
                        "executionTimeMillisEstimate" : 0,
                        "works" : 1000002,
                        "advanced" : 1000000,
                        "needTime" : 1,
                        "needYield" : 0,
                        "saveState" : 7812,
                        "restoreState" : 7812,
                        "isEOF" : 1,
                        "direction" : "forward",
                        "docsExamined" : 1000000
                },
                "allPlansExecution" : [ ]
        },
        "serverInfo" : {
                "host" : "10-31-1-122",
                "port" : 27017,
                "version" : "4.2.10",
                "gitVersion" : "88276238fa97b47c0ef14362b343c5317ecbd739"
        },
        "ok" : 1
}
>

explain()以下字段：

queryPlanner：执行查询的细节，包括计划的细节。
queryPlanner.indexFilterSet：表明是否使用索引过滤器来实现这个查询。
queryPlanner.parsedQuery：正在运行的查询。这是查询修改后的形式，显示了如何在内部评估它。
queryPlanner.winningPlan：被选中来执行查询的计划。
executionStats.keysExamined：表示为找到查询中的所有对象二扫描的索引条目数。
executionStats.docsExamined：显示实际扫描的对象数量，而不仅是它们的索引条目。
executionStats.nReturned：显示游标上的条目数量（即返回的条目数量）。
executionStages：提供执行计划的细节。
serverInfo：执行该查询的服务器。

indexFilterSet表示没有使用索引；COLLSCAN表示集合扫描。如果docsExamined显著高于nReturned，那么查询可能需要添加索引。

三.使用索引优化查询

3.1 管理索引

MongoDB的索引用于查询（find、findOne）和排序。如果倾向于在集合中大量使用排序，那么应该根据排序的需求添加索引。
索引最好用在主要为读访问的集合中。如果集合中有过多的索引，它们有可能会对写操作的性能造成负面影响。
目前每个集合最多可以拥有64个索引。
一个查询中只会使用一个索引，所以添加许多小索引通常并不会改善查询性能。复合索引提供了一种减少集合中索引数目的方法，它允许将多个字段结合在一起创建一个索引，所以应该尽量使用符合索引。
除非数据项的列表和排序与索引结构匹配，否则排序不利用复合索引。

MongoDB indexes use a B-tree data structure
这个现实MongoDB索引同关系型数据库一样，也是 B-tree索引

3.1.1 显示索引

> use test
switched to db test
> 
> db.t2.getIndexes()
[
        {
                "v" : 2,
                "key" : {
                        "_id" : 1
                },
                "name" : "_id_",
                "ns" : "test.t2"
        }
]
>

3.1.2 创建索引

创建索引语法:

-- 语法
db.collection.createIndex( <key and index type specification>, <options> )
-- 降序索引
db.collection.createIndex( { name: -1 } )

-- t2集合 id文档 创建索引
> db.t2.createIndex({id:1})
{
        "createdCollectionAutomatically" : false,
        "numIndexesBefore" : 1,
        "numIndexesAfter" : 2,
        "ok" : 1
}
> 
> db.t2.getIndexes()
[
        {
                "v" : 2,
                "key" : {
                        "_id" : 1
                },
                "name" : "_id_",
                "ns" : "test.t2"
        },
        {
                "v" : 2,
                "key" : {
                        "id" : 1
                },
                "name" : "id_1",
                "ns" : "test.t2"
        }
]
> 

-- t2集合 name、date两个文档创建复合索引
> db.t2.getIndexes()
[
        {
                "v" : 2,
                "key" : {
                        "_id" : 1
                },
                "name" : "_id_",
                "ns" : "test.t2"
        },
        {
                "v" : 2,
                "key" : {
                        "id" : 1
                },
                "name" : "id_1",
                "ns" : "test.t2"
        },
        {
                "v" : 2,
                "key" : {
                        "name" : 1,
                        "date" : 1
                },
                "name" : "联合索引",
                "ns" : "test.t2"
        }
]
>

3.1.3 删除索引

# 删除一个集合上的所有索引
db.t2.dropIndexes();
# 删除单个索引（对应于createIndex()函数创建索引的语法）
db.t2.createIndex({name:1,date:1},{name : "联合索引"})
db.t2.dropIndex({name:1,date:1},{name : "联合索引"})

测试记录:

> db.t2.dropIndexes();
{
        "nIndexesWas" : 3,
        "msg" : "non-_id indexes dropped for collection",
        "ok" : 1
}
> db.t2.getIndexes()
[
        {
                "v" : 2,
                "key" : {
                        "_id" : 1
                },
                "name" : "_id_",
                "ns" : "test.t2"
        }
]
> 
> db.t2.createIndex({name:1,date:1},{name : "联合索引"})
{
        "createdCollectionAutomatically" : false,
        "numIndexesBefore" : 1,
        "numIndexesAfter" : 2,
        "ok" : 1
}
> db.t2.dropIndex({name:1,date:1},{name : "联合索引"})
{ "nIndexesWas" : 2, "ok" : 1 }
>

3.1.4 重建索引

-- 重建集合上所有索引
db.t2.reIndex();

3.2 索引选择三步法

（1）相等测试：按任意顺序把所有相等测试的字段添加到复合索引中。
（2）排序字段：（只有存在多个排序字段，升序/降序才重要）在索引中添加排序字段，其顺序和方向与查询的排序相同。
（3）范围过滤器：首先，为基数最低的字段添加范围过滤器（集合中不同的值最少），接着添加基数次低的范围过滤器，直到基数最高的范围过滤器为止。

如果相等测试或范围过滤器字段没有选择性，就可以省略它们，以减少索引的大小。经验法则是，如果字段没有过滤掉集合中至少90%的文档，就最好在索引中省略它。如果集合上有几个索引，就可能需要提示MongoDB使用正确的索引。

3.3 指定索引选项

3.3.1 后台创建索引

db.t2.createIndex({name:1}, {background:true})

# 终止索引进程
db.currentOp();
db.killOp(<opid>);

测试记录:

> db.t2.createIndex({name:1}, {background:true})

{
        "createdCollectionAutomatically" : false,
        "numIndexesBefore" : 2,
        "numIndexesAfter" : 3,
        "ok" : 1
}
>

3.3.2 创建唯一索引

> db.t2.createIndex({id:1}, {unique:true})
{
        "createdCollectionAutomatically" : false,
        "numIndexesBefore" : 3,
        "numIndexesAfter" : 4,
        "ok" : 1
}

3.3.3 创建稀疏索引

> db.t2.createIndex({name:1}, {sparse:true})
{
        "createdCollectionAutomatically" : false,
        "numIndexesBefore" : 1,
        "numIndexesAfter" : 2,
        "ok" : 1
}
>

3.3.4 创建部分（条件）索引

> db.t2.createIndex({id:1}, {partialFilterExpression:{ cost: { $gt: 10 } } })
{
        "createdCollectionAutomatically" : false,
        "numIndexesBefore" : 2,
        "numIndexesAfter" : 3,
        "ok" : 1
}
>

3.4 使用hint()

hint测试

# 创建索引
db.t2.createIndex({"id":1, "name":1});
# 加hint使用索引
db.t2.find({id: 1, name: 'aaa'}).hint({"id":1, "name":1});
# 不使用任何索引
db.t2.find({id: 1, name: 'aaa'}).hint({$natural:1})

测试记录:

> db.t2.createIndex({"id":1, "name":1});
{
        "createdCollectionAutomatically" : false,
        "numIndexesBefore" : 3,
        "numIndexesAfter" : 4,
        "ok" : 1
}
> 
> 
-- 强制不走索引的，明显慢一些
> db.t2.find({id: 1, name: 'aaa'}).hint({$natural:1})
{ "_id" : ObjectId("5facab82677cc70f7ab9358e"), "id" : 1, "name" : "aaa", "date" : ISODate("2020-11-12T03:26:58.366Z") }
>

参考:

1.https://docs.mongodb.com/v4.2/indexes/#default-id-index
2.https://blog.csdn.net/wzy0623/article/details/83060759

只是甲
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mongodb 参数优化
weixin_30794851的博客
04-27 851
1.大部分IO操作为随机IO，建议采用SSD或PCIE，普通硬盘RAID10 2.IO调度算法。普通磁盘：deadline避免IO请求出现“饥饿”现象，SSD/PCIE：noop简单的先进先出处理请求。 　　echo "noop" > /sys/block/sdxxxx/queue/scheduler #SSD 　　echo "deadline" > /sys/bl...
MongoDB调优
持续学习，坚持原创，分享技术笔记及经验。
01-11 1552
MongoDB调优
提高MongoDB效率十大优化方式
最新发布
jia12216的专栏
05-29 1239
第一：单次批量查询比循环逐条查询更快； 第二：尽量避免嵌入不断增加的数据； 第三：预填充数据； 第四：尽可能预先分配空间； 第五：文档要自给自足； 第六：避免使用$where； 第七：编写代码处理数据完整性问题； 第八：使用正确的类型； 第九：用简单唯一的id替换掉_id。
MongoDB 聚合管道中使用字符串表达式运算符
Mointor
04-26 810
字符串表达式运算符主要用于实现字符串操作，主要包括了大小写转换、字符串截取、拼接、替换等
如何对 MongoDB 进行性能优化（五个简单步骤）
09-10
MongoDB一直是最流行的NoSQL，而根据DB-Engines Ranking最新的排行，时下MongoDB已经击败PostgreSQL跃居数据库总排行的第四位，仅次于Oracle、MySQL和Microsoft SQL Server。本文给大家介绍MongoDB性能优化的简单总结。
Mongodb性能调优 -性能优化建议
热门推荐
别在熬夜了！
12-19 7万+
摘要 1. MongoDB 适用场景简介 2. Mongodb 性能监控与分析 3. Mongodb 性能优化建议 TST官网 关于Mongodb的几个大事件 1.根据美国数据库知识大全官网发布的DB热度排行，Mongodb的热度排名从2014年的第5名，在2015年跃升为第4名，仅次于主流DB（Oracle、MySQL、SQLServer）之后。 2.2015第六届中国数据库技术大会...
mongodb优化
03-21
针对 MongoDB 的优化是提高数据库性能的关键，这通常涉及到多个方面，包括内存配置、查询优化、索引管理和集群架构调整等。 首先，我们可以修改 MongoDB 的默认内存配置以适应更大的数据处理需求。在 MongoDB ...
MongoDb优化指南
12-16
1、为什么选择MongoDB？ 1、性能 在大数据时代中，大数据量的处理已经成了考量一个数据库最重要的原因之一。而MongoDB的一个主要目标就是尽可能的让数据库保持卓越的性能，这很大程度地决定了MongoDB的设计。在一个...
MongoDB优化心得分享
12-16
在本文中，我们将深入探讨一些关键的MongoDB优化策略，这些策略来自于实际使用中的心得体验。 1. **存储引擎的选择**： MongoDB 默认的存储引擎是MMAPv1，但在3.0版本后，引入了wiredTiger引擎，它提供了显著的...
MongDB优化
centaurusR的博客
10-07 280
#MongDB优化 ​ MongoDB 是高性能数据，但是在使用的过程中，偶尔还会碰到一些性能问题。MongoDB和其它关系型数据库相比，例如 SQL Server 、MySQL 、Oracle 相比来说，相对较新，所以很多开发、DBA往往是注重功能的实现，而忽视了性能的要求。其实，MongoDB和 SQL Server 、MySQL 、Oracle 一样，一个 数据库对象的设计调整、索引的创建、语句的优化，都会对性能产生巨大的影响。 为充分挖掘MongoDB性能，简单列举以下Mongodb优化方式：
MongoDB 性能优化：分析执行计划
dawuafang
05-11 630
前言 cursor.explain("executionStats") 和 db.collection.explain("executionStats") 方法提供一个关于查询的性能统计情况。这些数据输出在校验某个查询是否以及如何使用了索引的时候非常有用。db.collection.explain() 提供该次执行的一些其他操作信息，比如 db.collection.update()。对于一次查询...
MongoDB查询优化
qq_31781407的博客
07-16 6689
我的天呢，最近用MongoDB存储了22G的数据到数据库中，但查询速度太慢了，龟速，任何人都忍受不了。 要解决这个问题，最简单的办法就是创建索引。 后来发现在执行mongo查询时，是直接集合扫描，这样就要扫描1711929个集合，不是扫描索引的。 数据集采用的ftp://ftp.argo.org.cn/pub/ARGO/global/上的所有数据， 条件查询（耗时之久） &gt;db...
mongodb系列~配置文件的优化与处理
weixin_34221332的博客
11-26 370
一 简介：讲讲如何优化mongo配置文件二 常规参数 port= //端口 fork=true//守护进程方式启动mongo logpath=shard.log //mongo日志存放路径 journal= true//redo log开启 nohttpinterface = true //关闭http端口,提高安全性 directoryperdb ...
db.setProfilingLevel()---用于采集与分析慢操作的数据库请求
let懒的博客
12-30 1865
db.setProfilingLevel() mongodb的profiler设置，默认该设置是关闭的，profiler可用于采集与分析慢操作的数据库请求。 db.setProfilingLevel(<level>, <options>); Parameters 参数：level Type： integer Description：配置数据库profiler级别 level Description 0 profiler已关闭，并且不收集任何数据。这是默认的profi
Mongodb查询分析器解析
0102的博客
08-19 439
Mongodb查询分析器 动态相关项目中涉及到数据量大和吞吐量达的接口，例如关注页面动态，附近动态，这部分数据都是存储在mongodb中，在线上数据中分类两个mongodb集合存储 其中关注动态基于扩散写的设计，数据量已经快到 8 亿。 附近动态并没有写扩散的数据扩大，并且曝光量相比关注页面少一点，并且重要的是有TTL，因此附近动态相关的表数据50万以上 在大数据量查询下，优化查询速度是提高系统性能的一个关键点，在Mysql中我们有explan 诊断工具，来帮助我们来对sql进行分析，同样的Mong
MongoDB的索引与执行计划
我能在河边钓一整天的鱼
03-17 220
目录 索引 执行计划 索引 索引通常能够极大的提高查询的效率，如果没有索引，MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的。 索引是特殊的数据结构，索引存储在一个易于遍历读取的数据集合中，索引是对数据库表中一列或多列的值进行...
mongodb 计算坐标距离
novenn
08-16 7402
使用场景很多 ，不瞎比比了 ，直接上案例。创建数据集合location：db.location.insert({loc:[1,3]}); db.location.insert({loc:[3,4]}); db.location.insert({loc:[0,-3]}); db.location.insert({loc:[-6,2]}); db.location.insert({loc:{x:9,y:
第四部分 性能篇 第十章 MongoDB 索引
u014548782的专栏
01-12 3060
MongoDB索引介绍，创建、使用、删除索引等。
MongoDB填充因子和更新优化
在梅边的专栏
01-13 1914
MongoDB填充因子（padding factor）是MongoDB为文档的扩展而预留的增长空间，因为MongoDB的文档是以顺序表的方式存储的，每个文档之间会非常紧凑。 如图，元素之间没有多余的可增长空间，当我们对顺序表中某个元素的大小进行增长的时候，就会导致原来分配的空间不足，放不回去原位了，只能要求其放于最后的位置。然后，后续插入的文档都会提供一定的填充因子，以便于文档频繁的修改，如
mongodb 优化
09-22
MongoDB的优化可以从以下几个方面考虑： 1. 索引优化：为频繁查询的字段创建索引，可以加快查询速度和提高性能。在选择索引字段时，需要根据业务需求和查询模式进行权衡。 2. 数据模型设计优化：合理设计文档结构...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值