NoSQL数据库MongoDB的日常使用小结(一)

原创 2015年11月20日 18:54:52

MongoDB系列文章主要是本人自己在平时项目中使用MongoDB的一些经验小结,一方面为了留档方便以后的查看,另一方面也希望跟大家多多交流使用心得,一起进步。

本文主要记录在对MongoDB数据库进行数据更新的一些基本操作和方法,如有错误,烦请批评指正。

背景:

  • MongoDB中有160W+数据
  • 需要在每一条数据后面新增一个字段,字段数据不一致

解决方案

备注:所有测试都是在同一台机同样的网络环境下进行。(由于项目环境原因,使用了VPN连接,可能有所影响,但不影响整体的测试结果)

1.update()

一开始没考虑很多,满以为MongoDB的数据更新操作会很快,就直接使用了MongoDB的update函数实现,实现代码如下:(update的一些其他操作这里就不在详细叙述了,如有疑问可参考MongoDB的官网)

//更新查询条件
DBObject updateCondition = new BasicDBObject();
updateCondition.put("numApplication", numApplication);
//更新数据              
DBObject updatedValue = new BasicDBObject();  
updatedValue.put("tags", tags);
//执行更新          
DBObject updateSetValue = new BasicDBObject("$set",updatedValue);
coll.update(updateCondition, updateSetValue);

单条数据更新测试时间如下:

1000条数据更新时间为:6966ms
1000条数据更新时间为:6529ms
1000条数据更新时间为:6607ms
1000条数据更新时间为:6573ms
1000条数据更新时间为:10903ms
1000条数据更新时间为:6524ms
1000条数据更新时间为:6711ms
1000条数据更新时间为:6511ms
1000条数据更新时间为:6615ms
1000条数据更新时间为:6580ms
1000条数据更新时间为:7529ms
.....

做到这里,其实大家可想而知,单条更新的速度其实是奇慢无比的,果不其然,慢的真的是令人发指,160w+的数据更新,粗略算了一下,大概要3个小时。如果每一次更新一下数据都要3个多小时的话,我就只能呵呵哒了呀,此方法明显不可取。

2.bulk.find().upsert().update()

这种批量更新的需求是显而易见的,我也相信MongoDB肯定做过这样的事情了,只不过是本人只是甚少的缘故而已。所以就开始搜寻各种博客、官档探寻数据的批量更新,终于功夫不负有心啊,在博客[1]中看到了批量更新的影子,也就是标题中的bulk方法,于是就去查找关于bulk的一些用法,终于实现了MongoDB数据的批量更新,实现代码如下:(关于bulk的详细方法请参考MongoDB的官档。)

//循环添加更新数据
for(int i=0;;){
    //初始化BulkWriteOperation 
    BulkWriteOperation bulk = coll.initializeOrderedBulkOperation();
    //更新条件
    DBObject updateCondition = new BasicDBObject();
    updateCondition.put("numApplication", numApplication);
    //更新数据          
    DBObject updatedValue = new BasicDBObject();  
    updatedValue.put("tags", tags);
    DBObject updateSetValue = new BasicDBObject("$set",updatedValue);
    //更新累计              
    bulk.find(updateCondition).upsert().updateOne(updateSetValue);
    //批量更新          
    if((++i) % 10000 == 0){
        bulk.execute();
        bulk = coll.initializeOrderedBulkOperation();
        System.out.println("批量更新数据完成");
    }
}

批量数据更新时间测试如下:

1000条数据更新时间为:450ms
1000条数据更新时间为:425ms
1000条数据更新时间为:413ms
1000条数据更新时间为:329ms
1000条数据更新时间为:419ms
1000条数据更新时间为:350ms
1000条数据更新时间为:719ms
1000条数据更新时间为:361ms
1000条数据更新时间为:349ms
1000条数据更新时间为:349ms
1000条数据更新时间为:382ms
1000条数据更新时间为:388ms
1000条数据更新时间为:382ms
1000条数据更新时间为:350ms

看到这里,终于应该感到欣慰了,这个时间相对来说已经提高了将近20倍左右,更新的时间也大大缩减了,大功告成。

待解决的疑问:在批量更新的过程中,一开始整个更新的速度确实是挺快的,但是到了大约60w之后,速度开始有所降低,到底是何原因导致的,还有待进一步的测试和分析。但是总体来说,更新时间还是在可接受的范围之内的。

参考文献

[1] http://stackoverflow.com/questions/30027608/mongodb-slow-update-loop

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

mongodb list 大量插入数据 Bulk()

在mongodb2.6以后 使用  Bulk() db.collection.initializeOrderedBulkOp() or thedb.collection.initializeUn...

NoSQL数据库—MongoDB入门使用和c#客户端的访问

什么是NoSql NoSql,全称是 Not Only Sql,指的是非关系型的数据库。下一代数据库主要解决几个要点:非关系型的、分布式的、开源的、水平可扩展的。原始的目的是为了大规模web应用,这...

NoSQL数据库-MongoDB和Redis

  • 2012年05月16日 17:08
  • 500KB
  • 下载

mongodb,redis,hbase 三者都是nosql数据库,他们的最大区别和不同定位

作者:Harry Zhu 链接:https://www.zhihu.com/question/30219620/answer/48322171 来源:知乎 著作权归作者所有。商业转载请联系作者获...

NoSQL数据库:MongoDB与Hbase的区别

1.Mongodb bson文档型数据库,整个数据都存在磁盘中,hbase是列式数据库,集群部署时每个familycolumn保存在单独的hdfs文件中。 2.Mongodb 主键是“_id”,...

MongoDB, Cassandra, 和 HBase -- 三种NoSQL数据库比较

英语原文: http://www.infoworld.com/article/2848722/nosql/mongodb-cassandra-hbase-three-nosql-database...

NoSQL数据库:MongoDB初探

跟着时下炒得火热的NOSQL潮流,学习了一下mongodb,记录在此,希望与感兴趣的同学一起研究! MongoDB概述 mongodb由C++写就,其名字来自humongous这个单词的中...

各种nosql数据库的比较Cassandra,MongoDB,CouchDB,Redis,Riak,HBase

CouchDB 开发语言:: Erlang 主要优点: 数据一致性,易用 许可: Apache Protocol: HTTP/REST 适用: 积累性的、较少改变的数据。或者是需要版本...

springboot【12】数据访问之NoSQL数据库MongoDB

一、MongoDB简介         MongoDB是一个基于分布式文件存储的数据库,它是一个介于关系数据库和非关系数据库之间的产品,其主要目标是在键/值存储方式(提供了高性能和高度伸缩性)和传统的...
  • IT_lyd
  • IT_lyd
  • 2017年08月07日 17:17
  • 122

28个MongoDB NoSQL数据库的面试问答

MongoDB是目前最好的面向文档的免费开源NoSQL数据库。如果你正准备参加MongoDB NoSQL数据库的技术面试,你最好看看下面的MongoDB NoSQL面试问答。这些MongoDB NoS...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:NoSQL数据库MongoDB的日常使用小结(一)
举报原因:
原因补充:

(最多只允许输入30个字)