MongoDB 使用记录

最新推荐文章于 2023-11-20 15:29:32 发布
最新推荐文章于 2023-11-20 15:29:32 发布
阅读量364 收藏
点赞数
分类专栏： Mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjq246/article/details/66967912
版权

一、建立索引（ensureIndex）

     在10w条这么简单的集合中查找一个文档要114毫秒有一点点让人不能接收，好，那么我们该如何优化呢？mongodb中给
db.test.ensureIndex({"username":1})
db.test.dropIndex({"username":1})

 

二、常用命令

 

MongoDB是不会回收空间的，但已删除的数据会标记删除，以后复用空间。
如果fileSize远大于dataSize，可以使用db.repairDatabase来删除一下多余的数据文件。不过这个指令执行时会对性能有较大影响

db.userdetails.remove({})


$project: 用于选择从收集的一些具体字段。
$match: 这是一个滤波操作，因此可以减少量，作为下一阶段的输入给定的文档。
$group: 如上所讨论的，这不实际的聚合。
$sort: 文件排序。
$skip: 与此有可能向前跳过的文件列表中的一个给定的的文档数量。
$limit: 这限制了的文档数量看一下由从当前位置开始的给定数
$unwind: 这是用来平仓文档的中使用数组。使用数组时，数据是一种pre-joinded，再次有个别文件，此操作将被取消。因此，这个阶段，数量会增加文件的下一阶段。

 

三、测试代码（未整理，先保留一下记录）

 

db.historydata.insert({"RecordTime":"2015-10-10 10:10:30","Records":[{"SpotID":"4","SpotValue":10},{"SpotID":"5","SpotValue":20},{"SpotID":"6","SpotValue":30}]})

db.historydata.aggregate({$match:{"RecordTime":{$gt:"2015-10-10 10:10:00"}}},
                 {$project:{c:0}},
                 {$unwind:"$Records"},
                 {$match:{"Records.SpotID":{$in:[1,2]}}},
                 {$group:{_id:"$_id",RecordTime:{"$first":"$RecordTime"},Records:{$push:"$Records"}}}
)
,"RecordTime":"$RecordTime"
db.historydata.aggregate({$project:{"Records":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':"1"}},{$group:{_id:"$_id","Records":{$push:"$Records"}}})

db.historydata.aggregate({$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':"1"}},{$group:{_id:"$_id","Records":{$push:"$Records"}}})

 

 

未为分组
db.historydata.aggregate({$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:["5","4"]}}})

 

 

分组
db.historydata.aggregate({$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:["1","5","4"]}}},{$group:{_id:"$RecordTime","Records":{$push:"$Records"}}})

 

 

for(var i=0;i<1000000;i++)
{
   var r='"Records":[';
   for(var j=0;j<10000;j++)
   {
       var v=i+j;
       r=r+'{"SpotID":"'+j+'","SpotValue":'+v+'},';
   }
   r=r+',{"SpotID":"10000","SpotValue":30}]';
   db.historydata.insert({RecordTime:i,eval(r));
}

for(var i=0;i<1000000;i++){
   var r='"Records":[';
   for(var j=0;j<10000;j++)
   {
       var v=i+j;
       r=r+'{"SpotID":'+j+',"SpotValue":'+v+'},';
   }
   r=r+'{"SpotID":10000,"SpotValue":30}]';
   r='{RecordTime:'+i+','+r+'}';
   db.historydata.insert(eval('('+r+')'));
}

for(var i=0;i<160000;i++){
   var r='"Records":[';
   for(var j=0;j<1000;j++)
   {
       var v=i+j;
       r=r+'{"SpotID":"'+j+'","SpotValue":"'+v+'"},';
   }
   r=r+'{"SpotID":"10000","SpotValue":"30"}]';
   var d=new Date(Date.parse("2015-10-10 10:10:00") + (1000 * i));
   var dd=d.getFullYear()+"-"+d.getMonth()+"-"+d.getDate()+" "+d.getHours()+":"+d.getMinutes()+":"+d.getSeconds();
   r='{RecordTime:"'+dd +'",'+r+'}';
   db.historydata.insert(eval('('+r+')'));
}

db.historydata.ensureIndex({"RecordTime":1})

var ds=new Date();
for(var i=0;i<300000;i++){
   var r='"Records":[';
   for(var j=0;j<999;j++)
   {
       var v=i+j;
       r=r+'{"SpotID":"'+j+'","SpotValue":"'+v+'"},';
   }
   r=r+'{"SpotID":"999","SpotValue":"999"}]';
   var d=new Date(ds.getTime()+ (1000 * i * 60 * 10));
   if(d.getMonth()<10){
      mm="0"+d.getMonth();
   }else{
      mm=d.getMonth();
   }
   if(d.getDate()<10){
      dd="0"+d.getDate();
   }else{
      dd=d.getDate();
   }

   if(d.getHours()<10){
      hh="0"+d.getHours();
   }else{
      hh=d.getHours();
   }
   if(d.getMinutes()<10){
      mmm="0"+d.getMinutes();
   }else{
      mmm=d.getMinutes();
   }  
   if(d.getSeconds()<10){
      ss="0"+d.getSeconds();
   }else{
      ss=d.getSeconds();
   }

   var dd=d.getFullYear()+"-"+mm+"-"+dd+" "+hh+":"+mmm+":"+ss;
   r='{RecordTime:"'+dd +'",'+r+'}';
   db.historydata.insert(eval('('+r+')'));
}


new Date(Date.parse(dtTmp) + (1000 * Number))

var r='{name:"aa"}';db.historydata.insert(eval('('+r+')'));

db.historydata.aggregate({$match:{"RecordTime":{$gt:10000}},{$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:[1,5,4]}}},{$group:{_id:"$RecordTime","Records":{$push:"$Records"}}})

db.historydata.aggregate({$limit:5},{$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:[5,4]}}})

db.historydata.aggregate({$match:{"RecordTime":{$gt:10000}}},{$limit:5},{$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:[5,4]}}})

db.historydata.aggregate({$match:{"RecordTime":{$gt:10000,$lte:10005}}},{$limit:5},{$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:[5,4]}}})

db.historydata.aggregate({$match:{"RecordTime":{$gt:10000,$lte:10005}}},{$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:[5,4]}}})

 

 


db.historydata.aggregate({$match:{"RecordTime":{$gt:10000,$lte:10005}}},{$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:[5,4]}}},{$group:{_id:"$RecordTime","Records":{$push:"$Records"}}})

db.historydata.aggregate({$match:{"RecordTime":{$gt:10000,$lte:10005}}},{$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:[5,4]}}},{$group:{_id:"$RecordTime","Records":{$push:"$Records"}}},{ $sort:{_id: 1 }})

db.historydata.aggregate({$limit:5},{$match:{"RecordTime":{$gte:"2015-9-10 12:56:35",$lte:"2015-9-10 12:56:38"}}},{$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:["4","5"]}}},{$group:{_id:"$RecordTime","Records":{$push:"$Records"}}},{ $sort:{_id: 1 }})

db.historydata.aggregate({$limit:100},{$match:{"RecordTime":{$gte:"2015-9-10",$lte:"2015-9-11"}}},{$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:["4","5"]}}},{$group:{_id:"$RecordTime","Records":{$push:"$Records"}}},{ $sort:{_id: 1 }})

db.historydata.aggregate({$limit:100},{$match:{"RecordTime":{$gte:"2015-9-10",$lte:"2015-9-11"}}},{$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:["4","5"]}}},{ $sort:{_id: 1 }})

db.historydata.aggregate({$match:{"RecordTime":{$gte:"2015-08-17 10:20:00",$lte:"2015-08-17 13:20:10"}}},{$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:["1","2","3"]}}},{$group:{_id:"$RecordTime","Records":{$push:"$Records"}}},{ $group: { _id: "", count: { $sum: 1 } } },{ $sort:{_id: 1 }})

//记录个数
db.historydata.find({"RecordTime":{$gte:"2015-08-17 10:20:00",$lte:"2015-08-17 10:50:10"}}).count()

//分页获取
db.historydata.aggregate({$match:{"RecordTime":{$gte:"2015-08-17 10:20:00",$lte:"2015-08-18 10:20:10"}}},{$skip:10000},{$limit:50},{$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:["1","2","3"]}}},{$group:{_id:"$RecordTime","Records":{$push:"$Records"}}},{ $sort:{_id: 1 }})

db.historydata.aggregate({$match:{"RecordTime":{$gte:"2015-08-17 10:20:00",$lte:"2015-08-17 10:50:10"}}},{$skip:500},{$limit:500},{$project:{"Records":1,"RecordTime":1}},{$unwind:"$Records"},{$match:{'Records.SpotID':{$in:["1","2","3"]}}},{$group:{_id:"$RecordTime","Records":{$push:"$Records"}}},{ $sort:{_id: 1 }})

 

 

时间范围：2015-08-22 12:33:29 2021-04-30 21:23:29 测点：0-999

gjq246
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MongoDB 使用说明
GMH的博客
05-08 887
pymongo查询范围内的值并计数 match_dict = {"$match": {"$and": [{"area": {"$gte": number_list[j]}}, {"area": {"$lte": number_list[j + 1]}}]}} group_dict = {"$group": {"_id": None, "占比": {"$sum": "$weight"},
MongoDB使用
weixin_44922510的博客
07-31 184
本文使用Docker安装MongoDB，首先安装Dokcer 适合操作系统: ubuntu18 Docker安装 # 卸载旧版本 sudo apt-get purge docker-ce sudo apt-get remove docker docker-engine docker.io containerd runc sudo rm -rf /var/lib/docker # 安装curl工具 sudo apt-get install curl -y # 使用官方安装脚本 curl -fsSL https
MongoDB 监控与日志分析
weixin_59801183的博客
06-04 2113
在运行了 MongoDB 数据库的应用程序中，性能监控和日志分析对于确保数据安全、一致性和应用程序稳定性至关重要。本指南将带您了解 MongoDB 的性能监控指标、如何使用 `mongostat` 和 `mongotop` 工具以及日志分析和问题诊断。
Mongo操作记录
zxx2096的博客
03-30 3519
是MongoDB中一个系统集合（system collection），它记录了所有的MongoDB操作日志，可以用于实现数据库的备份和数据同步等功能。集合中的数据非常庞大，因此查询时应该进行适当的过滤和分页，以避免查询性能的影响。集合，我们可以获取所有的操作历史，以便进行数据备份和恢复等操作。排序，以保证查询结果的正确性。
mongoDB删除表中一个字段
weixin_30343157的博客
12-14 1816
使用update命令 update命令 update命令格式： db.collection.update(criteria,objNew,upsert,multi) 参数说明： criteria：查询条件 objNew：update对象和一些更新操作符 upsert：如果不存在update的记录，是否插入objNew这个新的文档，true为插入，默认为false，不插入。 mult...
mongodb 日志详情
最新发布
qq_21134059的博客
11-20 1687
MongoDB的日志包括两个主要部分：操作日志（oplog）和系统日志。
【MongoDB】常用操作记录
xmzmqx的博客
09-05 1576
一、SpringBoot相关 1、模糊搜索 Criteria criteria = Criteria.where("字段1").regex(".*?" + query + ".*?"); 2、多个字段模糊搜索 Criteria criteria = new Criteria().orOperator( Criteria.where("字段1").regex(query), Criteria.where("字段2").r...
mongodb学习记录
03-21
MongoDB 的 Profiling 是一个用于收集性能数据的工具，它记录了数据库的操作，如写操作、游标和命令执行情况。系统.profile 集合存储这些信息，作为一个 capped collection，意味着它的大小是固定的，当达到上限时...
mongodb driver使用代码详解
09-08
MongoDB 驱动使用详解 MongoDB 是一个流行的NoSQL数据库系统，它采用分布式文件存储，由 C++ 编写，提供了高性能、高可用性和可扩展性。不同于传统的关系型数据库，MongoDB 支持丰富的数据模型，包括文档、集合、...
mongodb 学习记录
11-13
MongoDB 学习实例 记录
mongoose-history-diff：一个mongoose插件，用于获取MongoDB文档的差异和历史记录并管理其版本
02-04
猫鼬的历史差异 这是一个插件，用于跟踪MongoDB文档的历史记录和差异。 与一种特定模型有关的差异将存储在单独的MongoDB集合中。 安装 yarn add mongoose-history-diff npm i mongoose-history-diff 用法 将插件添加到您的Mongoose模式中： import DiffPlugin from 'mongoose-history-diff' ; CoderSchema . plugin ( DiffPlugin , { orderIndependent : true , diffCollectionName :
MongoDB中4种日志的详细介绍
12-16
前言 任何一种数据库都有各种各样的日志，MongoDB也不例外。MongoDB中有4种日志，分别是系统日志、Journal日志、oplog主从日志、慢查询日志等。这些日志记录着MongoDB数据库不同方面的踪迹。下面分别介绍这几种日志。 系统日志 系统日志在MongoDB数据库中很重要，它记录着MongoDB启动和停止的操作，以及服务器在运行过程中发生的任何异常信息。 配置系统日志的方法比较简单，在启动mongod时指定logpath参数即可 mongod -logpath=/data/log/mongodb/serverlog.log -logappend 系统日志会向logpath
MongoDB安装踩坑记录1
08-08
1、要选第二个，自定义安装路径安装的路径没有空格，不要有空格！装完配置环境变量，以便在啥地方都能启动创建数据文件，指定数据存储路径，cmd要用管理员权限开，很重
MongoDB学习笔记之MapReduce使用示例
09-10
MongoDB的MapReduce是一个强大的工具，它允许开发者处理和聚合大量数据。MapReduce基于一种分布式计算模型，将大规模数据处理任务分解为两...在某些情况下，更推荐使用MongoDB的聚合框架，它通常更快且更适合实时分析。
mongodb 操作记录
野路子云遇见不同的自己
02-22 566
mongodb 操作记录
mongodb和mysql空间占用_MongoDB的存储结构及对空间使用率的影响
weixin_28829479的博客
02-03 847
使用MongoDB一段时间的同学肯定会发现，MongoDB往往会占用比实际数据大小多不少空间的问题。如果利用db.stats()命令去查看，会发现MongoDB会报告几种不同的空间大小信息，如dataSize, storageSize以及fileSize。这些大小到底指的是什么意思呢？让我们来通过了解MongoDB的存储机制来解析这几个数值的含义。数据库文件类型MongoDB的数据库文件主要有3种...
mongo运行时日志
zlhblogs的博客
05-05 1212
在 MongoDB 中，可以通过设置运行时日志级别来控制 MongoDB 的日志输出详细程度。运行时日志级别设置为 3，即输出警告信息。需要注意的是，过高的日志级别会增加日志文件的大小，因此在实际使用中需要根据具体需求进行配置。2、MongoDB 还支持在运行时动态修改日志级别可以使用 db.setLogLevel(3) 命令来进行设置。
[MongoDB] MongoDB常用命令总结
Be yourself.
12-12 295
前言 用了MongoDB也有一段时间了. 在此记录下, 在使用MongoDB过程中比较难懂的一些命令&语句. 常用命令 - 基础操作 id MongoDB内的id比较特殊. 其是一个Object对象, 其生成原理见. 其在进行搜索时, 应写成如下表达式进行搜索. id - OtherTips 把id的值赋值给其中的某个字段. 增加一条记录 删除一条记录 查询一条记录 更改一条记录 删除一条记录内的某个字段 常用命令 & 其余常见算子 distinct() $in
MongoDB 操作记录
ReeseIMK的博客
11-21 3402
表合并： db.small_collection.find().forEach(function(obj){  db.big_collection.insert(obj) }); 去重： db.userInfo.aggregate([     {         $group: { _id: {userName: '$userName',age: '$age'},count: {$sum...
mongodb存储聊天记录
07-28
这样，你可以使用MongoDB的查询功能来检索、过滤和分析聊天记录。 下面是一个简单的示例，展示了如何使用Python的pymongo库将聊天记录插入到MongoDB中： ```python import pymongo # 连接MongoDB数据库 client = ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值