MongoDB数据库查询性能提高40倍

于 2018-07-30 14:47:41 发布
阅读量8.3k 收藏
点赞数
分类专栏： 数据库 文章标签： mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pbymw8iwm/article/details/81284921
版权
本文分享了一次将MongoDB数据库查询性能提高40倍的经历，涉及数据库性能优化、查询优化和数据处理策略。通过减少查询次数、增加batchSize以及减小返回记录数等方法，实现了显著的性能提升。
摘要由CSDN通过智能技术生成

MongoDB数据库查询性能提高40倍的经历分享

大家在使用 MongoDB 的时候有没有碰到过性能问题呢？下面这篇文章主要给大家分享了MongoDB数据库查询性能提高40倍的经历，需要的朋友可以参考借鉴，下面来一起看看吧。

前言

数据库性能对软件整体性能有着至关重要的影响，本文给大家分享了一次MongoDB数据库查询性能提高40倍的经历，感兴趣的朋友们可以参考学习。

背景说明

1、数据库：MongoDB

2、数据集： 

  • A：字段数不定，这里主要用到的两个UID和Date
  • B：三个字段，UID、Date、Actions。其中Actions字段是包含260元素JSON数组，每个JSON对象有6个字段。共有数据800万条左右。

3、业务场景：求平均数 

  • 通过组合条件从A数据表查询出（UID，Date）列表，最多可能包含数万条记录；
  • 然后用第1步的结果从B中查询出对应的数据
  • 用第2步结果去Actions的某个固定位置的元素的进行计算

进化过程

在这里使用Python演示

最直接想到的方法

根据上面的业务场景描述，最

了解本专栏 订阅专栏 解锁全文 超级会员免费看
前网易架构师-高司机
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
订阅专栏
博客
Unity射击游戏开发教程：（33）控制飞机左右移动
08-29 19
在此方法中，我们有一个名为horizo​​ntalInput 的变量，它使用左移或右移的Input.GetAxis（水平）返回-1 到1 之间的值。当不向左或向右移动时，该值为 0，当向左移动时，该值增加到 -1，向右移动时，该值增加到 1。这很重要，因为如果该值小于 0，并且移动，我们就知道玩家是否向左移动如果大于 0，则正确。在我使用的动画中，它们只有两帧，因为我们希望飞机倾斜得很快，这样玩家在按下相应按钮时就能直接感觉到转弯。在本文中，我将介绍如何在玩家朝该方向移动时添加向左和向右转动的动画。
博客
Unity射击游戏开发教程：（32）控制子弹射速
08-26 39
显示发射速度从较慢到较快的变化这是一篇关于如何实现射速以防止玩家乱按射击按钮的快速文章。通常做法说到要控制子弹的射速，可以通过以下几种方法：通过设置子弹的发射间隔时间来控制射速。在每次子弹发射后，设置一个时间延迟，确保下一枚子弹不能立即发射。利用计时器来控制发射间隔。可以使用定时器来设置一个固定的时间间隔，在每个时间间隔内发射一枚子弹。根据需求设定射速等级。根据游戏的难度或其他因素，可以设置不同的射速等级，每个等级对应不同的发射间隔时间。根据游戏中的事件触发子弹的发射。
博客
Unity射击游戏开发教程：（31）制造一定追踪行为的敌人
08-06 368
如果为 FALSE，则敌人只能躲避，如果为 TRUE，则敌人只能射击。在本文中，我们将介绍如何在两种敌人行为之间切换。当我们使用 Dodging 方法时，我们将启动一个协程 (StartFiring)，它将等待一段时间，然后将 _isFiring 设置为 TRUE。这两个方法会来回反弹，因为这些协程将 _isFiring 变量设置为 ON 和 OFF（TRUE 和 FALSE）。我们需要追踪敌人是否在开火，因为此时我们想要剥夺敌人的闪避能力。这将是一个布尔值，我们将其设置为 FALSE。
博客
golang实现Digest认证鉴权接口
08-06 994
Digest认证鉴权是一种HTTP认证协议，用于验证客户端和服务器之间的身份。它使用了一个特殊的哈希函数来对用户名、密码和其他安全数据进行加密，并生成一个摘要，用于验证客户端的身份。以下是一些Digest认证鉴权的使用场景：Web应用程序：Digest认证鉴权可以用于保护Web应用程序的管理界面或受限资源。用户需要提供正确的用户名和密码才能访问这些资源。API鉴权：Digest认证鉴权可以用于保护API的访问和使用。客户端需要提供正确的密钥和密码才能向API发送请求并获取响应。
博客
error C2011: “sockaddr_in”:“struct”类型重定义的修改办法
07-22 223
宏的主要作用是减少编译时间和避免命名空间污染。不过你的程序需要使用被排除的API，你则不能定义这个宏，或者需要单独包含那些特定的头文件。简洁的来说，定义以排除加密、DDE、RPC、Shell 和Windows套接字等 API，官方文档在这。#include <cderr.h> // 提供公共对话框错误代码。#include <dde.h> // 动态数据交换(DDE)管理库的定义。#include <ddeml.h> // DDE管理库的高级接口。
博客
Unity射击游戏开发教程：（29）躲避敌人的子弹射击
07-04 414
我们检查激光是否与带有“ShotDetection”标签的游戏​​对象发生碰撞，如果是，我们需要通过创建局部变量并使用 other.GetComponentInParent 来获取 Enemy4 的句柄，因为 Dodge 方法位于脚本中附加到 Enemy 对象而不是子对象。请记住，_isDodging 仅在 0.3 秒内为 true，然后将其设置为 false，从而阻止敌人的移动。在此协程中，我们将 _isDodging 设置为 true，持续 0.3 秒，然后再将其设置为 false，因为……
博客
Unity射击游戏开发教程：（30）如何让玩家追踪敌人
06-26 162
因此，我们使用 _direction 全局变量，该变量总是在更新中重新计算，并将其乘以我们的激光速度变量，该变量只是在 OnStart 之前声明的浮点变量。这是我们将使用rotationZ变量的地方，该变量在该变量上方的行中的每一帧中不断地重新计算。我们希望激光的旋转与敌人当前的旋转相匹配，因为我们已经在计算这一点，所以我们只需要告诉敌人最后使用我们之前使用的四元数欧拉进行旋转。现在我们有了玩家的位置，我们可以找出我们需要面对的方向，我们希望它出现在我们的更新中，因为玩家的位置会不断变化。
博客
redis数据库备份,回档,迁移工具使用
06-24 145
相信很多服务器开发者或者运维同学都遇到过这样的场景，比如我要从阿里云的redis集群把数据迁移到另外一个账号下的或者另外一个云服务商的redis集群，或者单机，或者哨兵模式redis实例，那么这种情况下我推荐给大家一款非常好用的工具，可以无缝的从A集群/单机/哨兵/已有的数据库rdb文件 迁移到 B集群/单机/哨兵模式下的实例中。
博客
【go从入门到精通】rpc和grpc的使用
06-18 6527
创建我们例子的第一步是定义一个服务：一个 RPC 服务通过参数和返回类型来指定可以远程调用的方法。gRPC 通过protocol buffers来实现。我们使用 protocol buffers 接口定义语言来定义服务方法，用 protocol buffer 来定义参数和返回类型。客户端和服务端均使用服务定义生成的接口代码。这里有我们服务定义的例子，在api/api.proto 里用 protocol buffers IDL 定义的。
博客
【go从入门到精通】网络编程
06-14 6486
接下来，我们需要掌握网络编程，TCP/IP(Transmission Control Protocol/Internet Protocol) 即传输控制协议/网际协议，是一种面向连接（连接导向）的、可靠的、基于字节流的传输层（Transport layer）通信协议，因为是面向连接的协议，数据像水流一样传输，会存在黏包问题。我的意思是，如果我们可以使用特定应用程序（例如 Nginx）的相同 IP: 端口打开一个套接字，我们就可以劫持内核通过该套接字发送给我们的部分请求。包还提供对 UDP 套接字的支持。
博客
微信小游戏推送（小游戏礼包功能）服务器端接入开发经验总结
06-13 1万+
小游戏开发者的游戏内道具，可通过接入平台「礼包系统」，在微信平台各场景发放游戏礼包。发放场景包括：游戏圈、活动运营工具、发现-游戏-福利中心、广告、搜索等道具礼包发货基于微信小游戏统一的消息推送能力，因此在使用礼包中心的发货回调时，需要开发者服务器处理好消息推送的协议。注意：MP配置消息回调地址只有1个，所有消息推送场景都会使用该通道，所以需要先根据MsgType与Event来判断消息类型，进行相应的处理。下面是发送和返回的格式：更多详情可以查看文档：小游戏礼包 | 微信开放文档。
博客
Unity射击游戏开发教程：（27）创建带有百分比的状态栏
06-12 628
现在，我们需要一些变量到两个将是需要具有序列化字段属性的 UI，因此我们可以在检查器中分配它们，它们将是一个图像（将是我们的填充图像）和一个文本（这将是我们的弹药）计数文本。需要一个带有 int 参数的公共方法，该参数将作为使用的数量，因此当我们射击或使用推进器时，我们可以从玩家脚本中调用它。我们可以使用状态栏，但我们需要重新填充它，这对于弹药栏和推进器栏来说是不同的，因为推进器栏是再生的。跳转到玩家脚本，因为我们将从那里调用此方法，所以我们需要获取弹药栏的句柄，以便我们可以访问我们创建的方法。
博客
【go从入门到精通】精通并发编程-使用atomic管理状态和同步的无锁技术
05-28 676
Go 中的包sync/atomic提供了低级原子内存操作，确保状态更新以原子方式执行，而不受其他 goroutine 的干扰。在必须以原子方式完成多个进程或需要更复杂类型的同步的情况下，可能需要锁和其他同步技术。在 Go 中，原子计数器允许多个 goroutine 安全地更改共享变量，而无需使用锁或任何其他显式同步，这可确保数据完整性并避免竞争条件。大家从结果上就可以看出这差距不是一点点，当然不是所有的场景都无脑式的使用sync/atomic原子包，那我们接下来看下那些场景不适合。
博客
Unity射击游戏开发教程：（28）敌人被摧毁时掉落的能量提升
05-28 233
然后，我们将通过从生成管理器获取电源数组来实例化电源，并传入随机数，该随机数将确定将创建哪个电源，并在敌人被摧毁的位置创建它，并保持旋转相同使用四元数并将其设置为其身份。例如，百分比机会中的元素 0 = 通电数组中的元素 0（元素 1 = 元素 1，元素 2 = 元素 2，等等）。在 OnTriggerEnter 中，这是敌人被射弹或玩家击中的地方，我们希望在敌人被摧毁之前抓住敌人的当前位置，并将其分配给我们的 powerUpSpawnPosition，这样就知道在哪里可以产生能量我们实例化它。
博客
Unity射击游戏开发教程：（26）创建绕圈跑的效果
05-26 166
角度是我们每帧增加的角度，三角形的斜边（圆的半径）是我们的轨道距离，所以蓝线显示了当前 X 位置添加的内容。当敌人的 Y 位置移动超过停止点（即 2）且 _isMovingDown 为 true 时，我们会将当前的 X 和 Y 坐标存储在相应的变量中，并将 _isMovingDown 设置为 false，这样我们就不再向下移动，这些 X 和 Y 坐标为最终确定。我们创建了一个本地浮点值，它将包含更新时的新 X 位置，并将其设置为等于敌人停止时的 X 位置加上当前角度的 COS x 轨道距离。
博客
Unity射击游戏开发教程：（25）创建具有视差效果的滚动背景
05-25 177
我发现了一些很棒的像素背景，它们是为滚动背景和两者的视差而制作的，因此我能够混合和匹配来制作我的背景。在游戏更新中，我们检查背景图像的位置是否低于该偏移量（背景图像耗尽之前的位置），当低于该偏移量时，我们将其重新定位回起始位置，从而创建无限循环。我们需要找到背景的 Y 位置，即背景耗尽的位置，因此我们抓取父背景图像并将其在 Y 轴上移动，直到背景即将耗尽并记下 Y 位置。我们将创建一个脚本，将背景图像向下移动，然后当它到达 Y 位置时，我们将重新定位回原始位置，以创建这个无尽的滚动背景。
博客
Unity射击游戏开发教程：（24）创造不同的敌人
05-24 164
在这篇文章中，我们将讨论添加一个可以承受多次攻击的新敌人和一些动画来使事情变得栩栩如生。敌人没有任何移动或射击行为。这将有助于增强未来敌人的力量。我们将声明一个 int 来存储敌人可以承受的攻击数量，并将其设置为 3。首先，我们将跳转到 Enemy 脚本并使用 OnTriggerEnter2D 来检测物体何时与 Enemy 发生碰撞。如果标签是激光，我们将在 0.2 秒后摧毁激光，以便在摧毁激光之前给激光击中动画足够的时间播放。接下来，我们将命中计数减 1 并播放敌人命中动画。
博客
【go从入门到精通】精通并发编程-使用扇入扇出提升多个通道之间传递数据的效率
05-24 161
在并发编程领域，Golang 作为一种擅长处理并发的编程语言而脱颖而出。Go 并发模型的一个关键组件是通道，它允许 goroutine 进行通信并同步其工作。在这里，我们将探讨在 Go 中的多个通道之间传递数据的技术。当需要协调不同 goroutine 之间的工作并管理数据流时，这非常有用。了解 Go 通道在我们深入研究在多个通道之间传递数据之前，让我们简要回顾一下 Go 通道是什么以及它们如何工作。大家可以反看我之前的这篇文章：Go 通道是用于 goroutine 之间通信和同步的内置原语。
博客
Unity射击游戏开发教程：（23）Unity 中的跟踪导弹
05-23 155
在我们的游戏更新中，我们需要找到敌人的游戏对象，因此我们可以将其存储在目标变量中。现在我们已经知道了导弹到达敌人的方向，我们希望能够旋转它，使其面向目标。这需要的是当前的 Vector3，它将是transform.up（精灵的顶部），目标 Vector3（存储在我们的方向上，以及希望它在每帧之间移动的距离。如果发生碰撞时标签是“导弹”，我们就知道这是我们的导弹，我们可以输入所有摧毁敌人和导弹的代码。此时，我们有一枚正在工作的跟踪导弹，导弹将向目标旋转并同时向目标移动，但当它击中敌人时，什么也没有发生。
博客
【go从入门到精通】精通并发编程-sync.Map和map
05-23 378
另一方面，如果我们有大量写入工作负载，多个 goroutine 频繁更新数据，我们可能需要使用互斥锁或其他同步机制来确保一次只有一个 goroutine 可以访问数据。提供内置同步，对于读取繁重的工作负载很有用，但它有一些限制，并且比非并发使用的映射慢。通过了解这两种数据结构之间的差异和权衡，我们可以为我们的特定用例选择正确的一种，并优化我们的代码以提高性能和可扩展性。映射是无序键值对的集合，其中键是唯一的，值可以是任何类型。类型是 Go 中的内置类型，它为映射提供了安全且并发的替代方案，并在。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值