spring data mongodb 大数据量查询性能差的原因(20s 优化到2s)

最新推荐文章于 2024-05-31 15:47:44 发布

Think_Higher

最新推荐文章于 2024-05-31 15:47:44 发布

阅读量3.5k

点赞数

分类专栏： 21天学会MongoDB 文章标签： mongodb spring java

本文链接：https://blog.csdn.net/uniquewonderq/article/details/128209286

版权

21天学会MongoDB 专栏收录该内容

39 篇文章 12 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

结论

通过反复查询原因，最终确定，数据库查询速度很快，最重要的是mongodb将查询出来的数据映射到实体属性中，这个过程太过耗费时间

在这里插入图片描述

优化1

通过使用temple来查询的语句

// 这个查询出来所有符合条件的数据集合，速度很慢，主要是这种方式的数据映射过程太过耗时：public List<MineUserDetail> findListByGid(String groupId) {
   
        Query query = new Query(Criteria.where(

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Think_Higher

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
打赏
0
评论
spring data mongodb 大数据量查询性能差的原因(20s 优化到2s)

spring data mongodb 大数据量查询性能差的原因(20s 优化到2s)
复制链接

扫一扫

专栏目录

订阅专栏

mongodb查询速度慢是什么原因？

weixin_34168880的博客

12-22

919

mongodb查询速度慢是什么原因？通过mongodb客户端samus代码研究解决问题最近有项目需要用到mongodb，于是在网上下载了mongodb的源码，根据示例写了测试代码，但发现一个非常奇怪的问题：插入记录的速度比获取数据的速度还要快，而且最重要的问题是获取数据的速度无法让人接受。测试场景：主文档存储人员基本信息，子...

MongoDb优化指南

12-16

1、为什么选择MongoDB？ 1、性能在大数据时代中，大数据量的处理已经成了考量一个数据库最重要的原因之一。而MongoDB的一个主要目标就是尽可能的让数据库保持卓越的性能，这很大程度地决定了MongoDB的设计。在一个以传统机械硬盘为主导的年代，硬盘很可能会成为性能的短板，而MongoDB选择了最大程度而利用内存资源用作缓存来换取卓越的性能，并且会自动选择速度最快的索引来进行查询。MongoDB尽可能精简数据库，将尽可能多的操作交给客户端，这种方式也是MongoDB能够保持卓越性能的原因之一。 2、扩展现在互联网的数据量已经从过去的MB、GB变为了现在的TB级别，单一的数据库显然已经无

参与评论您还未登录，请先登录后发表或查看评论

mongodb查询速度优化详解

最新发布

沙门空海

05-31

314

mongodb查询速度优化详解

一次MongoDB查询优化历程

Nimrod__的博客

09-25

691

1 问题背景2 分析思路2.1 打印执行耗时，分析耗时点2.3 慢查询日志分析3 总结参考资料对于数据量大的查询，不建议直接用find方法，做对象的类型转换对于数据量大，需要用索引进行优化的查询条件，不要使用$ ne、$ not、$ or等方法，会导致索引失效正确使用慢查询日志，可以很好的帮助分析具体的耗时问题。

提高MongoDB效率十大优化方式

jia12216的专栏

05-29

1304

第一：单次批量查询比循环逐条查询更快；第二：尽量避免嵌入不断增加的数据；第三：预填充数据；第四：尽可能预先分配空间；第五：文档要自给自足；第六：避免使用$where；第七：编写代码处理数据完整性问题；第八：使用正确的类型；第九：用简单唯一的id替换掉_id。

mongo大数据处理优化

乾复道

08-04

5160

大数据查询缓慢的优化方案

mongodb慢查询了怎么办

weixin_35756892的博客

01-03

2236

如果你的 MongoDB 数据库中出现了慢查询，你可以尝试以下几种方法来解决问题：找出导致慢查询的原因：使用 MongoDB 的 explain() 方法来分析查询的执行计划，找出导致慢查询的原因。启用 MongoDB 的慢查询日志功能，记录慢查询的详细信息，并分析日志中出现的问题。优化查询：尽量使用索引来优化查询，避免使用全表扫描。尽量减少查询中的返回字段数量，只...

MongoDB一次性能问题处理

liuxingen的专栏

10-15

5450

MongoDB一次性能问题处理问题：发现线上环境web界面获取MongoDB中的数据变得很慢（界面主要是查询），接着查看Rabbitmq消息队列中对应功能队列中堆积了不小的消息（worker主要是插入数据）。从上面的问题现象来看基本是MongoDB出现了性能的问题，大致的排查了一下MongoDB。1. 首先查看一下系统资源： root@mongo-2-6-0-5:~# free -m

spring-data集成mongodb大数据量分页+自增id实现+MongodbPlugin集成

06-29

skip随着数据量上去，分页性能极具下降，不推荐。这里使用spring-data-mongo实现的分页，并且实现了mongodb自增id（监听器方式）、也集成了轻量级插件MongodbPlugin，有需要的可以下载看看哦~

Spring Data MongoDB API（Spring Data MongoDB 开发文档）.CHM

08-31

Spring Data MongoDB API。 Spring Data MongoDB 开发文档。

Spring Data MongoDB 数据库批量操作的方法

08-26

Spring Data MongoDB 批量操作方法在项目开发中，批量插入数据和更新数据的操作是非常常见的，特别是在大数据时代下，高效的数据处理是非常重要的。在 Spring Data MongoDB 中，可以使用 BulkOperations 来实现...

利用Spring Data MongoDB持久化文档数据的方法教程

08-29

【Spring Data MongoDB 持久化文档数据方法教程】在当今的软件开发中，Spring框架以其高度可扩展性和模块化特性被广泛应用于企业级应用程序。MongoDB作为一个流行的NoSQL数据库，以其灵活的数据模型和高性能而受到...

Mongodb亿级数据量的性能测试

01-31

进行了一下Mongodb亿级数据量的性能测试，分别测试如下几个项目：（所有插入都是单线程进行，所有读取都是多线程进行）1）普通插入性能（插入的数据每条大约在1KB左右）2）批量插入性能（使用的是官方C#客户端的...

Spring Data MongoDB中文文档

02-22

Spring Data MongoDB中文文档便宜下载了。

spring data mongodb

09-12

Spring Data MongoDB是一个强大的Java库，它是Spring Data框架的一部分，专门设计用于简化MongoDB数据库的访问。MongoDB是一个流行的NoSQL数据库，它以JSON格式存储数据，适合处理大规模、非结构化或半结构化的数据...

千万及以上数据量级数据库查询优化

qq_30258721的博客

03-11

872

千万及以上数据量级数据库查询优化

mongodb之慢查询分析

weixin_34174105的博客

10-22

1727

0 摘要在MySQL中，慢查询日志是经常作为我们优化查询的依据，那在MongoDB中是否有类似的功能呢？答案是肯定的，那就是开启Profiling功能。该工具在运行的实例上收集有关MongoDB的写操作，游标，数据库命令等，可以在数据库级别开启该工具，也可以在实例级别开启。该工具会把收集到的所有都写入到system.profile集合中，该集合是一个capped c...

php查询mongo数据库效率,2000000万数据库 MongoDB 查询速度慢

weixin_32139147的博客

03-21

509

一个表里面的数据大概是如下的，这种重复的，现在单纯的根据 toUserId 倒叙拿数据列表，就开始 10 秒左右才能够在前台拿到数据了，数据分页为 100 条每一页，现在数据库也有 1G 左右了，请问要怎么优化一下。但是聚合查询速度挺快的。在 toUserId 上索引也试过了，并不能提升性能。~~~{ "_id" : ObjectId("554c697550a1d1a42d00003a"), "t...