mongo skip查询慢问题

最新推荐文章于 2023-09-12 15:03:21 发布
最新推荐文章于 2023-09-12 15:03:21 发布
阅读量749 收藏 1
点赞数
分类专栏： mongo 文章标签： mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Elena_00/article/details/118939278
版权

最近遇到mongo查询，5百万左右的数据，简单的单表查询，查询特别慢，用的skip+limit，确实很慢，网上找的方案有改成：按照查询的最后一条数据来取limit，该方案没采纳，然后尝试搜到的其他方案：加索引，查询慢的问题明显解决：

db.getCollection('xxx').createIndex({"xxxx": -1, "xxx": -1, "xxxx": -1})
小_漪
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mongoDB之分页查询 skip() limit()
weixin_37618127的博客
11-01 1490
在研究 mongo 分页查询的过程中，发现数据量大了之后，就查询特别慢；在研究中发现，mongo 处理数据主要依赖内存，在 cpu，memory 的占用率过高的情况下，mongoDB 的效率就会直线下降；所以在对 mongo 操作的过程中，要注意内存的消耗；不可做任何占用大量内存的事情； 分页查询中，skip 数据量大了之后；效率就直线下降； 我们可以通过多次少量查询来解决这个问题，你会发现虽...
MongoDB索引优化，你又是一个好MongoDB！
weixin_39158966的博客
04-12 463
索引通常能够极大的提高查询的效率，如果没有索引，MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。什么是索引索引最常用的比喻就是书籍的目录，查询索引就像查询一本书的目录。本质上目录是将书中一小部分内容信息（比如题目）和内容的位置信息（页码）共同构成，而由于信息量小（只有题目），所以我们可以很快找到我们想要的信息片段，再根据页码找到相应的内容。同样索引也是只保留某个域的一部分信息（建立了索引的field的信息），以及对应的文档的位置信息。
mongodb大数据查询通过skip会非常慢的问题（未解决）
飞奔的小土豆@1024
02-22 4063
周末打扰下哈： 在做导出时遇到 mongo读取蛮大数据量性能问题想请教下； 问题描述： 操作是提前查出数据总量计算分批，再利用mongodb的limit(M)和skip(N) 分页功能 来并发地去取出 dataList，由于（部分线程）skip的值N越大，mongo性能反应越来越慢(类似地mysql这种操作也会很低)，导出性能也随之降低 换了一种思路是 利用mongodb本身对于where查询和l...
mongodb大数据查询通过skip会非常慢的问题
python的神奇之旅
08-13 5622
项目当中模拟插入了120W条数据，在同一个文档当中单纯查询数据的速度还不错，主要是对查询的文档字段添加了索引，但是对查询结果的前台分页确有问题。具体来说是不设置任何查询条件的时候，会查询出来将近120W条满足条件的结果，使用mongodb的limit()和skip() 来取出来 第一页前20条数据，这样在后台的java程序当中只是这20条数据占用内存。 代码具体形式类似于用mongodb客户端...
记录一次MongoDB查询优化
yannankai0709的博客
09-12 459
因为本接口主要负责以统计为主，对于复合查询的场景并不多，因此，在复合索引的优化、排序等等方面不够完善，想要学习的朋友可以查询：https://developer.aliyun.com/article/74635，对于复合索引的优先级有详细的解释。多多查阅官方文档，会有很多意外收获。
MongoDB 分页查询的skip方法及性能
技术文档学习笔记
08-16 6284
说起MongoDB，确实是用完了之后颠覆了我的数据管和程序观。怎么说呢？如果用在OO设计的程序里那真的太棒了，像我这种数据驱动、表驱动思想根深蒂固的人，思路很难一下子跟上MongoDB的节奏。当然并不是调用个api，写几句query那些思路，而是程序设计思路，业务领域的设计，如何OO，如何适合展现，适合查询，适合聚合运算等等。总之MongoDB重要的是程序的设计，设计好了，其实完全就忽略了Mong
监控mongo状态慢查询
03-02
Profiler默认是关闭的，你可以选择全部开启，或者有慢查询的时候开启。查看Profile日志3个字段的意义不多说，此处有官方文档。注意，造成满查询可能是索引的问题，也可能是数据不在内存造成因此磁盘读入造成。...
MongoVue查询方法
12-12
使用MongoVue进行查询的方法,包含map及reduce的使用介绍
mongo-slowms:Mongo 慢日志报告
06-01
使用 10gen 的 mtools 分析集群范围内的 mongo 慢查询，并将报告以 CSV 格式发送给各自的团队成员。 它可用于独立的 mongo 实例和副本集。 先决条件 Python，Python皮，mtools，织物 安装 yum install python ...
mongo——limit的坑
qq_30095631的博客
02-20 1619
    我们在mongo查询中，通过limit限制查出的条数，但是如果limit传0时，limit则默认失效了，会把整个集合中所有符合条件的数据全部给你取出来。所以在数据量大的时候，不要使用limit(0)。     看到上面的结论，可能有人就会喷了，都0了你还查个屁，怎么会有这种场景。下面是我的经历，我们的一个推荐算法中，但前一种推荐数不满足的时候，会去另外一张表里取出剩余的数量，补齐总推荐数，所以当时想当然的直接拿总数减去前一个推荐结果的数量作为limit条件（如果小于零则取0），去后一个表里去获取剩下
高效mongodb的php分页类(不使用skip).zip
07-11
介绍了高效mongodb的php分页类,并且没有使用mongodb的skip来实现分页,需要的朋友可以参考下，mongodb分页skip limit分页要先查出所有结果再去跳过，这样如果查询页面越往后效率越低。 如果能够通过查询条件查出每页结果的最后一条记录，在用最后一条记录作为查询条件去查下一页，这样每次都查询页面size条记录，效率不会差。
MongoDB 中Limit与Skip的使用方法详解
09-09
主要介绍了MongoDB 中Limit与Skip的使用方法详解的相关资料,这里对这两种方法进行了详细介绍并附示例代码，帮助大家学习理解，需要的朋友可以参考下
数据库mongodb效率测试
PerryHsu的博客
11-17 5618
序言 工作中,遇到单机高并发,大数据量的数据存储场景,mysql显得有些吃力,mongodb具有高并发(1k稳定),大数据量存储的特点.想要引入,故针对mongo的基础CRUD性能,做测试验证. 这里针对大数据量的插入和查询,分别测试mongodb和mysql的效率( 插入/查询 多次测试,取平均值,得到测试耗时 测试类型 次数 mongodb mysql 结果 插入 1w 500ms 1100ms 插入效率,mongodb快一倍 插入 10w 1800ms 3700ms 插入效率,m
MongoDB Limit与Skip方法
孤云博客
01-31 1096
随时随地阅读更多技术实战干货，获取项目源码、学习资料，请关注源代码社区公众号(ydmsq666)、博主微信（guyun297890152）、QQ技术交流群(183198395)。 from：http://www.runoob.com/mongodb/mongodb-limit-skip.html MongoDB Limit与Skip方法 MongoDB Limit() 方法 如果你需要...
java mongodb skip_关于MongoDB的skip及不使用skip分页，以及对应的java实现简例
weixin_28726671的博客
03-06 518
一、MongoDB分页1.skip实现跳页(比较简单)/***db.getCollection('user').find({})是指查询全部。*sort()设置排序，本示例是指以_id作为条件，正序排序。若将数字1改为-1，则为倒序。*skip()设置跳页，本示例是指跳过前10条，从第11条开始显示。*limit()设置每页的显示数量，本例是指每页限制显示10条。*/db.getCollectio...
解决mongodb查询慢的问题
热门推荐
歇息的专栏
06-03 3万+
    最近项目上一直在用mongodb作为数据库，mongodb有他的优势，文档型类json格式存储数据，修改起来比传统的关系型数据库更方便，但是最近在用mongodb出现了查询缓慢的问题，我用命令行查询，显示速度非常快，而且也添加了索引，2万条数据只需要十几毫秒，但是用代码实现却需要好几秒，我调试了代码发现代码生成的查询语句跟我在命令行的查询语句是一样的，我当时就很纳闷。    我当时的代码是...
解决mongodb大数据量分页查询效率问题
chenwch
01-03 2万+
最常见的分页采用的是skip+limit这种组合方式，这种方式对付小数据倒也可以，但是对付上几百上千万的大数据，只能力不从心，skip如果跳过大量的数据会很慢，并且会越查越慢，针对这一情况，可以通过条件查询+排序+限制返回记录，即 边查询，边排序，排序之后，抽取上一页中的最后一条记录，作为当前分页的查询条件，从而避免了skip效率低下的问题。 代码如下： /** * 大数据量排序...
mongoTemplate查询
最新发布
03-21
1. 基本查询：使用MongoTemplate的find()方法可以执行基本的查询操作。你可以通过构建Query对象来指定查询条件，也可以使用Criteria对象来构建更复杂的查询条件。 2. 分页查询：使用MongoTemplate的find()方法结合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值