MongoDB 1000W级数据 Insert和Query和Delete性能测试（分别测试 不加索引 和 加索引）

最新推荐文章于 2022-07-23 20:25:06 发布
最新推荐文章于 2022-07-23 20:25:06 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： MongoDB 文章标签： 测试 mongodb insert delete query null

MongoDB 1000W级数据 Insert和Query和Delete性能测试（分别测试 不加索引 和 加索引）

转自：http://blog.csdn.net/crazyjixiang/article/details/6630624

先看下测试机性能（64bit）：

view plain print ?
  1. ^_^[root@:~]#grep "model name" /proc/cpuinfo | cut -f2 -d:  
  2.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz  
  3.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz  
  4.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz  
  5.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz  
  6.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz  
  7.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz  
  8.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz  
  9.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz  
  10. ^_^[root@:~]#grep MemTotal /proc/meminfo  
  11. MemTotal:      4040580 kB  
  12. ^_^[root@:~]# free -m  
  13.              total       used       free     shared    buffers     cached  
  14. Mem:          3945       3715        230          0         40       2626  
  15. -/+ buffers/cache:       1048       2897  
  16. Swap:         4094          2       4092  
  17. ^_^[root@:~]#getconf LONG_BIT  
  18. 64  
  19. ^_^[root@:~]#more /etc/redhat-release  
  20. Red Hat Enterprise Linux Server release 5.5 (Tikanga)  
  21. ^_^[root@:~]#uname -r  
  22. 2.6.18-194.el5  


测试程序：

view plain print ?
  1. #include <iostream>  
  2. #include <mongo/client/dbclient.h>  
  3. using namespace std;  
  4. using namespace mongo;  
  5.   
  6. #define INIT_TIME \  
  7.         struct timeval time1,time2; \  
  8.   
  9. #define START_TIME \  
  10.         gettimeofday(&time1,NULL); \  
  11.   
  12. #define STOP_TIME \  
  13.         gettimeofday(&time2,NULL); \  
  14.   
  15. #define PRINT_TIME \  
  16.         cout<<"Time:"<<time2.tv_sec-time1.tv_sec<<":"<<time2.tv_usec-time1.tv_usec<<endl;  
  17.   
  18. int main() {  
  19.         srand(time(NULL));  
  20.         char ar[26+1];  
  21.         DBClientConnection conn;  
  22.         conn.connect("localhost");  
  23.         cout<<"MongoDB Connected OK!"<<endl;  
  24.         int count=10000000;  
  25.         INIT_TIME;  
  26.         START_TIME;  
  27. //insert  
  28. #if 1  
  29.         while (count--) {  
  30.                 for (int i=0; i<26; i++) {  
  31.                         ar[i] = rand()%26+97;  
  32.                 }  
  33.                 ar[26]='\0';  
  34.                 BSONObj p = BSON("NewsId"<<ar);  
  35.                 conn.insert("test.users",p);  
  36.         }  
  37. #endif  
  38.   
  39.         STOP_TIME;  
  40.         PRINT_TIME;  
  41.         return 0;  
  42. }  


不加索引测试：

......................# MongoDB 不加索引 插入1000W条测试 #...................

view plain print ?
  1. ^_^[root@:~/svn/nugget/MongoDB/utest]#./insertData                
  2. MongoDB Connected OK!  
  3. Time:207s:194125μs  


......................# MongoDB 不加索引 1000W条遍历测试 #...................

我们让MongoDB全部遍历一遍：

让测试数据倒序，取倒序后第一条数据：

view plain print ?
  1. > db.users.find().sort({'_id':-1})  
  2. { "_id" : ObjectId("4e2cbdf4a1ca039d82214e33"), "NewsId" : "dgvshdhevmjgunvbepgdkzirqk" }  


第一条数据的NewsId为   dgvshdhevmjgunvbepgdkzirqk

测试程序：

view plain print ?
  1. ^_^[root@:/usr/local/mongodb/bin]#./mongo<bat.js   
  2. MongoDB shell version: 1.8.2  
  3. connecting to: test  
  4. > var startTime = new Date();  
  5. >   
  6. > db.users.find({NewsId:"dgvshdhevmjgunvbepgdkzirqk"});  
  7. { "_id" : ObjectId("4e2ccfd2a1ca039d82527b34"), "NewsId" : "dgvshdhevmjgunvbepgdkzirqk" }  
  8. >   
  9. > (new Date().getTime()-startTime.getTime())/1000  
  10. 5.846s  
  11. > bye  

......................# MongoDB 不加索引 1000W条删除测试 #...................

view plain print ?
  1. ^_^[root@:/usr/local/mongodb/bin]#./mongo 10.7.3.228 < bat.js  
  2. MongoDB shell version: 1.8.2  
  3. connecting to: 10.7.3.228/test  
  4. > var startTime = new Date();    
  5. > //db.users.find({NewsId:"csgsqdglbyfuwdjfkkrxgzyacc"});    
  6. > db.users.remove()  
  7. > (new Date().getTime()-startTime.getTime())/1000   
  8. 103.924  
  9. > bye  


......................# MongoDB 不加索引 1000W条删除最后一条测试 #...................
view plain print ?
  1. ^_^[root@:/usr/local/mongodb/bin]#./mongo 10.7.3.228 < bat.js  
  2. MongoDB shell version: 1.8.2  
  3. connecting to: 10.7.3.228/test  
  4. > var startTime = new Date();    
  5. > //db.users.find({NewsId:"csgsqdglbyfuwdjfkkrxgzyacc"});    
  6. > db.users.remove({"NewsId":"nmffcewwjvbhjfyagfxlifgiud"})  
  7. > (new Date().getTime()-startTime.getTime())/1000   
  8. 3.991  
  9. > bye  


加索引测试：

view plain print ?
  1. > db.users.getIndexes()  
  2. [  
  3.         {  
  4.                 "name" : "_id_",  
  5.                 "ns" : "test.users",  
  6.                 "key" : {  
  7.                         "_id" : 1  
  8.                 },  
  9.                 "v" : 0  
  10.         }  
  11. ]  
  12. > db.users.ensureIndex({NewsId:1})  
  13. > db.users.getIndexes()             
  14. [  
  15.         {  
  16.                 "name" : "_id_",  
  17.                 "ns" : "test.users",  
  18.                 "key" : {  
  19.                         "_id" : 1  
  20.                 },  
  21.                 "v" : 0  
  22.         },  
  23.         {  
  24.                 "_id" : ObjectId("4e2cc408572ff09d98851cb7"),  
  25.                 "ns" : "test.users",  
  26.                 "key" : {  
  27.                         "NewsId" : 1  
  28.                 },  
  29.                 "name" : "NewsId_1",  
  30.                 "v" : 0  
  31.         }  
  32. ]  

......................# MongoDB 加索引 插入1000W条测试 #...................

view plain print ?
  1. ^_^[root@:~/svn/nugget/MongoDB/utest]#./insertData   
  2. MongoDB Connected OK!  
  3. Time:2019s:19419μs  

......................# MongoDB 加索引 1000W条测试遍历测试 #...................

还是一样取最后一条数据，然后看下性能：

view plain print ?
  1. ^_^[root@:/usr/local/mongodb/bin]#./mongo <bat.js   
  2. MongoDB shell version: 1.8.2  
  3. connecting to: test  
  4. > var startTime = new Date();  
  5. >   
  6. > db.users.find({NewsId:"nxuvdqtjrrptoyildolesbkqmd"});  
  7. { "_id" : ObjectId("4e2ccc2ea1ca039d82b9e4b3"), "NewsId" : "nxuvdqtjrrptoyildolesbkqmd" }  
  8. >   
  9. > (new Date().getTime()-startTime.getTime())/1000  
  10. 0.022s  
  11. > bye  


......................# MongoDB 加索引 删除1000W条测试 #...................

view plain print ?
  1. ^_^[root@:/usr/local/mongodb/bin]#./mongo 10.7.3.228 < bat.js  
  2. MongoDB shell version: 1.8.2  
  3. connecting to: 10.7.3.228/test  
  4. > var startTime = new Date();    
  5. > //db.users.find({NewsId:"csgsqdglbyfuwdjfkkrxgzyacc"});    
  6. > db.users.remove()  
  7. > (new Date().getTime()-startTime.getTime())/1000   
  8. 570.782  
  9. > bye  



......................# MongoDB 加索引 1000W中删除一条测试 #...................

view plain print ?
  1. ^_^[root@:/usr/local/mongodb/bin]#./mongo 10.7.3.228 < bat.js  
  2. MongoDB shell version: 1.8.2  
  3. connecting to: 10.7.3.228/test  
  4. > var startTime = new Date();    
  5. > //db.users.find({NewsId:"csgsqdglbyfuwdjfkkrxgzyacc"});    
  6. > db.users.remove({"NewsId":"cikjwikamhtixoykrrfjnepkwu"})  
  7. > (new Date().getTime()-startTime.getTime())/1000   
  8. 0.025  
  9. > bye  



总结下测试数据吧：

没索引
添加 1 千万 记录  Time:207s:194125μs   

查询 5.846s

删除全部 103.94s  

删除最后一条 3.991s



有索引
添加 1 千万 记录 Time:2019s:19419μs 

查询 0.022s 

删除全部 570.782s  

删除最后一条 0.025s


ghlfllz
关注
专栏目录
HBase与MongoDB在海量数据处理中的性能对比
程序员光剑
08-10 642
2017年7月，MongoDB宣布了它的分布式文档数据库Atlas云服务，这标志着非关系型数据库进入了一个新的阶段——云时代。随后，Hbase也宣布了它首个公开版本，基于Apache基金会开发的开源分布式 NoSQL 数据库。然而，这两个数据库却引起了不小的争议，究竟哪一个更适合用来存储海量的数据？或许，对于刚刚接触到这两种数据库的读者来说，这种困惑可能并没有想象中那么简单。
【转载】MongoDB 1000W级数据 Insert和Query和Delete性能测试
weixin_30794499的博客
04-26 185
加索引测试： >db.users.getIndexes() [ { "name":"_id_", "ns":"test.users", "key":{ "_id":1 ...
MongoDB 1000W级数据 Insert和Query和Delete性能测试（分别测试 不加索引 和 加索引）...
holoblog
07-25 240
先看下测试机性能（64bit）： ^_^[root@:~]#grep "model name" /proc/cpuinfo | cut -f2 -d: Intel(R) Xeon(R) CPU E5606 @ 2.13GHz Intel(R) Xeon(R) CPU E5606 @ 2.13GHz Intel(R) Xeon(R) CPU ...
mongoDB--update和delete
奋力妞
05-24 703
mongoDB提供的update和delete方法中有对collection中一个document操作的（类似于limit 1），也有对collection中多个doucument操作的，还支持blukUpdate（这个有点像hibernateTemplate或是jdbcTemplate提供的blukUpdate） UPDATE OPERATION:   1.updateOne   db...
mongodb 上亿数据建索引出现的异常
chixian4839的博客
06-07 860
mongodb数据量比较大，有上亿数据，在建索引时使用了命令：db.collection.createIndex({"key":'hashed'},{"background":true})，以为在后台执行就可以高枕无忧，结果在有的分片集上就出现了异常，分片集的复制集还挂掉了，时间一长，重启之后...
mongo批量插入问题(insert_many,bulk_write)
Lao男孩的博客
07-08 2万+
mongo批量插入问题1. 遇到问题2. 解决问题2.2 方法1：批量插入insert_many2.3 方法2：批量更新bulk_write（UpdateOne）2.3.1 bulk_write定义3. 性能测试 1. 遇到问题 每天通过spark等数据库框架批量处理的结果数据最少500万条记录，每天需要导入到mongo数据库，最初通过update one的方法一条一条进行更新插入，耗时大约2小时...
一个简单的沙箱来测试和共享MongoDB查询.zip
最新发布
05-25
本压缩包"一个简单的沙箱来测试和共享MongoDB查询.zip"显然是为了提供一个环境，让用户能够安全地尝试和分享MongoDB查询，而不会影响到生产环境。 在“mongoplayground_dev.zip”中，很可能是包含了一个在线MongoDB...
基于MongoDB数据库索引构建情况全面分析
09-09
MongoDB数据库索引是提升查询效率的关键因素，它允许快速访问和排序数据，尤其是在处理大量数据时。然而，建立和维护索引也会带来一定的成本，包括磁盘空间占用和写入操作的性能损失。因此，对MongoDB数据库索引构建...
MongoDB的高级查询和索引优化
MongoDB是一个开源的文档数据库，采用NoSQL的存储形式，能够提供高性能、高可用性和易扩展性的解决方案。它将数据存储为一个文档，是一种类似于JSON的格式，非常适合用于处理大量的非结构化数据。 ## 1.2 高级查询...
NOSQL，MongoDB的操作和索引
ghb741649543的博客
09-09 834
MongoDB创建和查看数据库 MongoDB 将 BSON 文档（即数据记录）存储在集合中，数据库包含文档集合。在 MongoDB 里面存在数据库的概念，但没有模式，保存数据的结构是 BSON 结构，只不过在进行一些数据处理的时候才会使用 MongoDB 自己的操作。 MongoDB 自带了一个功能强大的 JavaScript Shell，可以用于管理或操作 MongoDB。 MongoDB 数据库初始安装完成后，默认的数据库是 test，学习时可以在默认 test 数据库上进行各种练习操作。当然在实际的
EGP1000W逆变器功率板的用户手册.pdf
09-13
EGP1000W逆变器功率板的用户手册pdf,EGP1000W逆变器功率板是一款配套 EG8010 SPWM芯片和EGS001正弦波逆变器驱动板的专用功率底板，适用于 3KVA 以下的逆变单元。EGP1000W 逆变器功率板具有两种工作模式：前级经高频变压器 DC-DC 升压后输入高压直流电至板上功率电源接口直接逆变输出模式（高频模式）；直接输入低压直流电至板上功率电源接口逆变输出低压交流后经工频变压器升压输出高压交流（工频模式）。用户可根据需求选择工作模式及功率器件，并通过调压电位器调节交流输出电压。
千万级Mysql-MongoDB性能对比报告
10-16
千万级Mysql-MongoDB性能对比报告
MongoDB应用场景及选型（海量数据存储选型）
西京刀客
07-23 5929
MongoDB应用场景及选型 设计实践中，要基于需求、业务驱动架构，无论选用 DB/NoSQL, 一定是以需求为导向，最终数据存储方案必然是各种权衡的综合性设计。
Mongodb亿级数据量的性能测试
weixin_33708432的博客
03-02 6145
进行了一下Mongodb亿级数据量的性能测试，分别测试如下几个项目： （所有插入都是单线程进行，所有读取都是多线程进行） 1） 普通插入性能 （插入的数据每条大约在1KB左右） 2） 批量插入性能 （使用的是官方C#客户端的InsertBatch），这个测的是批量插入性能能有多少提高 3） 安全插入功能 （确保插入成功，使用的是SafeMode.True开关），这个测的是安全插入性能会...
MongoDB与MySQL的插入性能测试
cvan的小窝
07-14 2万+
1.1  MongoDB的简单介绍 在当今的数据库市场上，MySQL无疑是占有一席之地的。作为一个开源的关系型数据库，MySQL被大量应用在各大网站后台中，承担着信息存储的重要作用。2009年，甲骨文公司（Oracle）收购Sun公司，MySQL成为Oracle旗下产品。 而MongoDB是一种文件导向的数据库管理系统，属于一种通称为NoSQL的数据库，是10gen公司旗下的开源产品，其内部数
MongoDB千万级数据的分析
哲
11-24 1万+
转载自：http://my.oschina.net/tianyongke/blog/171172 所有试验都是只针对所有数据进行统计分析，不针对某条数据的分析。 一、导入 清单1： 读取CSV文件，存储到数据库中 #-*- coding:UTF-8 -*- ''' Created on 2013-10-20 @author: tyk ''' from pymongo
MongoDB数据量大于2亿后遇到的问题 及原因分析
热门推荐
好记忆也需烂博客
02-17 5万+
MongoDB数据量大于2亿后遇到的问题 及原因分析 一、数据增长情况     每月增长量最大达到了1.9亿，每天增长约300W-500W     （增长数据具体可看页尾） 二、遇到的情况及解决方法     1.数据量过大，并且都集中在一个表，所以此表数据插入变慢。         表索引越多越明显，         优化处理方法：         
MongoDB深度解析：CRUD操作与高级特性详解
例如，使用`insertOne()`, `find()`, `updateOne()`, 和 `deleteOne()`等函数分别执行插入、查找、更新和删除记录。 2. **进阶操作：聚合管道（Aggregation Pipeline）** 聚合管道是MongoDB的强大功能，用于对数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值