mongodb 搜索速度_MONGODB 加索引 大内存 与连锁思维

本文探讨了在MongoDB中为大规模collection添加索引时遇到的问题和解决方案。介绍了不同版本MongoDB的索引构建方式,强调了内存大小、业务访问强度、oplog设计和版本升级对索引构建的影响。提出了通过后台构建、分离节点、逐步添加等策略来应对大集合的索引构建挑战。
摘要由CSDN通过智能技术生成

c219ae44c685ca21ef45ed1bc0dfbfb8.png

创建MONGODB 的索引,属于基本操作,但如果是一个有2T 的 collection 要加一个索引,也属于基本操作,实际上量变产生质变,很多问题的考虑都不在那么简单。

这时可能有有一个声音,有你说的那么麻烦吗?  我使用 background:true

d19ec00869a2b18c34c35f9bbb1d14c5.png

不就可以了。并且这样的处理的方式在后台处理,不会对现有的系统产生锁和任务无法处理的问题,缺点就是稍微比前台操作耗时一点。

在创建索引的时候,可以通过下面的语句来查看相关的进度

db.currentOp(true).inprog.forEach(function(op){ if(op.msg!==undefined) print(op.msg) })

在MONGODB 4.2 系统上,在构建过程的开始和结束阶段,索引构建仅对被索引的集合获取独占锁,以保护元数据的更改。构建过程的其余部分使用后台索引构建的生成行为,以便在构建期间最大化对集合的读写访问。4.2尽管有更宽松的锁定行为,但索引构建仍然可以生成高效的索引数据结构。mongodb4.2 系统应该是已经抛弃了 background的参数来创建搜索,根据一代比一代强的想法,自然是 background 有一些需要改进的地方,新的版本才会进行变动。

在MONGODB 3.4 的时候有一个参数

setParameter:

maxIndexBuildMemoryUsageMegabytes: 1024

这个参数就直接为后台添加索引加速的,如果有足够的内存,(内存的

与wiretiger 无关),则会加速background 添加索引的速度。

作为复制集,添加索引的的方式也是以命令的方式推送到从节点,但如果是

巨大的collection则很多的建议是,需要以特殊的方式来进行索引的添加,

这点类似有些 MYSQL 大表添加索引或字段的一个过程。

1 将节点从集群中分离

2 在分离的节点添加索引

3 将节点在此加入到集群中

4 将添加索引的从节点替换主节点

5 周而复始,直到索引的集群的节点都添加了索引

当然你要注意你的时间窗口,集群离开的时间不要超过oplog的时间窗口,否则

你就好看了。

所以大collection添加索引,就是一个量变到质变的过程,你需要考虑的问题

1 你内存的大小,是否能hold 你添加的索引

2 业务上访问度是否是高强度的,如果是,那你及需要考虑上面提到的方法

3 oplog 的设计大小其实和你以后一些基础操作有关

4 尽量抛弃旧版本,升级到 3.6 及以上的版本,这样可以快速调整

oplog的大小

所以一件看上去不值得一提的加索引的事情,其实如果量大到一定程度,则

考虑和需要分析的问题和 量级比较小的时候是不能同日而语的。

bafe1258c1af4c31d7b9da397f338c58.png

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值