mongoDB
关注
分享
扫一扫
文章平均质量分 83
SAN_YUN
这个作者很懒，什么都没留下…
展开
-
MongoDB Auto-Sharding 入门介绍
MongoDB是10gen团队开发的一款面向文档的NoSQL数据库。最近一年多以来，MongoDB被越来越多的大型网站应用到生产环境中，比较著名的有Foursquare, bit.ly, SourceForge, Boxed等。MongoDB提供了Auto-Sharding功能，使用者通过简单的配置就可以很方便地构建一个分布式MongoDB集群。MongoDB的Auto-Sharding能够做...原创 2012-10-22 14:32:46 · 249 阅读 · 0 评论 -
mongoDB NUMA问题
NUMA的含义，简单点说，在有多个物理CPU的架构下，NUMA把内存分为本地和远程，每个物理CPU都有属于自己的本地内存，访问本地内存速度快于访问远程内存，缺省情况下，每个物理CPU只能访问属于自己的本地内存。对于MongoDB这种需要大内存的服务来说就可能造成内存不足，所以mongo建议关闭 numactl --interleave=all /duitang/dist/sys/mon...原创 2012-12-01 14:05:10 · 151 阅读 · 0 评论 -
mongo 监控常用命令
db.stats()db.serverStatus().memdb.serverStatus().extra_infodb.serverStatus().connectionsdb.currentOp() db.hostInfo() 查询索引明细db.blogDetailEdge.getIndexes()查询索引大小db.blogDetailEdge.totalIndex...原创 2012-12-01 14:05:15 · 167 阅读 · 0 评论 -
mongoDB意外关闭重启
线上一台mongoDB意外关闭，重启的时候报错： old lock file: /duitang/dist/sys/mongodb/mydb/mongod.lock. probably means unclean shutdown, but there are no journal files to recover. this is likely human error or file...原创 2012-12-03 16:36:55 · 546 阅读 · 0 评论 -
MongoDB范围查询的索引优化
源文： http://blog.nosqlfan.com/html/4117.html 我们知道，MongoDB的索引是B-Tree结构的，和MySQL的索引非常类似。所以你应该听过这样的建议：创建索引的时候要考虑到sort操作，尽量把sort操作要用到的字段放到你的索引后面。但是有的情况下，这样做反而会使你的查询性能更低。问题比如我们进行下面这样的查询：d...原创 2012-12-22 15:08:29 · 706 阅读 · 0 评论 -
MongoDB数据文件内部结构
有人在Quora上提问：MongoDB数据文件内部的组织结构是什么样的。随后10gen的工程师Jared Rosoff出来做了简短的回答。每一个数据库都有自己独立的文件。如果你开启了directoryperdb选项，那你每个库的文件会单独放在一个文件夹里。数据库文件在内部会被切分成单个的块，每个块只保存一个名字空间的数据。在MongoDB中，名字空间用于区分不同...原创 2012-12-29 11:40:03 · 140 阅读 · 0 评论 -
mongoDB java简单记录
1. 数据格式传递上个自己画的图Mongodb-Java驱动基本流程驱动里面操作的,是DBObject(用户提供的和已经转为Command格式的DBObject),OutMessage(可以转为byte[]写入Socket),Response,WriteResult(用户真正拿到的返回值)层层封装,绕得我头都晕2. 日志与Debug信息日志采用JDK Logging,有...原创 2013-01-11 19:02:39 · 148 阅读 · 0 评论 -
mongos结构记录
mong client< ---> mongos(port: 27017)< ----> mongod(port:27027) 在一台web服务器上查看到mongos的connection数：写道[admin@server5 ~]$ netstat -antp | grep 27017 | grep python -c2606 在一台...原创 2013-01-16 00:11:41 · 153 阅读 · 0 评论 -
mongoDB 索引
索引常常用来大幅度的提升查询的性能。 考虑应用程序的查询种类是非常重要的事情，因此你就要定义相关的索引。决定了之后，在MongoDB中创建索引是非常简单的。Indexing Overview : http://docs.mongodb.org/manual/core/indexes/Indexing Operations: http://docs.mongod...原创 2013-01-23 14:12:14 · 100 阅读 · 0 评论 -
MongoDB 关于索引的建议
我们收到了很多关于索引的问题。这一部分解答了其中的一小部分。有几点要记住。 第一,MongoDB索引和MySQL索引非常相似并且对于MySQL的索引优化有很多也适用于MongoDB。 第二，更重要的是，这些索引的建议对你的应用提高也是有限的。对于应用的最佳索引策略应该基于很多的重要因素。包含了你期望查询的类型，数据读取与写入的比率，甚至于你服务器的空闲内存。意思就是，...原创 2013-01-23 14:32:14 · 91 阅读 · 0 评论 -
mongoDB亿级数据量性能测试
原文：http://www.cnblogs.com/lovecindywang/archive/2011/03/02/1969324.html 进行了一下Mongodb亿级数据量的性能测试，分别测试如下几个项目：（所有插入都是单线程进行，所有读取都是多线程进行）1） 普通插入性能 （插入的数据每条大约在1KB左右）2） 批量插入性能 （使用的是官方C#客户端的InsertBa...原创 2013-01-28 23:54:30 · 444 阅读 · 0 评论 -
mongoDB为什么用virtual memory mapping
原文： http://blog.mongodb.org/post/10407828262/cache-reheating-not-to-be-ignored An important aspect to keep in mind with databases is the cost of cache reheating after a server restart. Consider t...原创 2013-01-28 23:57:38 · 200 阅读 · 0 评论 -
mongoDB如何query is Null
试了半天，原来通过db.taobaoItem.find({"coupon_price":{$ne:null}} MongoDB Operators Query SelectorsComparisonNameDescription$allMatches arrays that contain all elements specified i...原创 2013-07-24 15:09:50 · 456 阅读 · 0 评论 -
mongoDB的储存机制
在MongoDB的数据文件夹中（默认路径是/data/db）由构成数据库的所有文件。每一个数据库都包含一个.ns文件和一些数据文件，其中数据文件会随着数据量的增加而变多。所以如果有一个数据库名字叫做foo，那么构成foo这个数据库的文件就会由foo.ns，foo.0，foo.1，foo.2等等组成。数据文件每新增一次，大小都会是上一个数据文件的2倍，每个数据文件最大2G。这样的设计有利...原创 2012-11-30 16:27:41 · 561 阅读 · 0 评论 -
MongoDB与内存
原文：http://huoding.com/2011/08/19/107但凡初次接触MongoDB的人，无不惊讶于它对内存的贪得无厌，至于个中缘由，我先讲讲Linux是如何管理内存的，再说说MongoDB是如何使用内存的，答案自然就清楚了。 据说带着问题学习更有效，那就先看一个MongoDB服务器的top命令结果： shell> top -p $(pidof mongo...原创 2012-11-29 16:07:10 · 218 阅读 · 0 评论 -
MongoDB简单介绍
MongoDB (from "humongous") 是一个可扩展的，高效的，面向文档的数据库。它的作用是介于关系数据库与key-value数据库之间的一种数据库。它具有如下几个特点：面向文档的存储结构：它底层是用一种叫JSON的结构来做为基本的存储单元，以此来提供动态的Schema，对任意属性的索引支持数据冗余与高可用性数据的自动分片丰富的查询模式支持Map/Reduc...原创 2012-08-20 17:09:50 · 269 阅读 · 0 评论 -
MongoDB 使用经验小结
1. Database数量多了之后，mongod的启动会需要很长的时间，期间进程绝大多数时间处于R(Running or runnable)和D(Uninterruptible sleep) 状态。这段时间mongod是在做init，会读取所有Database的namespace文件的header，检查pdfile version。2. listDatabases指令(show dbs...原创 2012-10-22 14:50:24 · 145 阅读 · 0 评论 -
MongoDB的Replication简单介绍
1. 什么是Replication数据复制是为了使数据得到最大的可用性，避免单点故障的发生，MongoDB支持在服务器之间进行数据的异步复制，来满足数据的最终一致性。但是同一时刻只有一台服务器是可以写的。当只有一台master时，数据的强一致性就可以得到保障。但当用户从slaves上去读数据时，这里只能保障数据的最终一致性。目前MongoDB提供了三种Replication方...原创 2012-10-22 15:15:15 · 346 阅读 · 0 评论 -
mongoDB 性能测试
最近对mongoDB 性能测试，200万条数据，文件大小800MB。其中一个字段是一个数组，最大可能包含上万条id,平均几百条。最后发现只读情况下性能很好，基本在1ms以内就能返回，问题出在写上面。同步数据的时候的时候居然有这种update导致lock很高：Tue Mar 5 13:36:05 [conn16962] update duitangdb.blogAlbum query...原创 2013-03-05 13:33:14 · 454 阅读 · 0 评论 -
mongoDB性能问题
mongoDB在高并发情况下的性能存在问题。原创 2013-03-23 21:43:18 · 145 阅读 · 0 评论 -
mongoDB Update文档
MongoDB supports atomic, in-place updates as well as more traditional updates which replace an entire document.update() upserts save() in the mongo shellModifier Operation...原创 2012-11-08 14:18:36 · 140 阅读 · 0 评论 -
mongoDB Query文档
Querying One of MongoDB's best capabilities is its support for dynamic (ad hoc) queries. Systems that support dynamic queries do...原创 2012-11-08 14:45:19 · 235 阅读 · 0 评论 -
mongoDB 高级Query文档
Advanced Queries IntroRetrieving a Subset of FieldsConditional Operators<, <=, >, >=$all...原创 2012-11-08 14:47:19 · 139 阅读 · 0 评论 -
mongoDB MapReduce文档
MapReduce Map/reduce in MongoDB is useful for batch processing of data and aggregation operations. It is similar in spirit to us...原创 2012-11-08 14:48:37 · 149 阅读 · 0 评论 -
mongoDB Optimization文档
Optimization Additional ArticlesOptimizing A Simple ExampleOptimization #1: Create an indexOptimization #2...原创 2012-11-10 16:18:56 · 111 阅读 · 0 评论 -
对mongoDB shardsd的一些疑惑
1. shard 之后top n的性能问题？2. 新增一个shard 之后需要手动做数据迁移吗？原创 2012-11-12 14:35:04 · 147 阅读 · 0 评论 -
mongoDB 数据备份文档
参考:http://docs.mongodb.org/manual/administration/import-export/mporting and Exporting MongoDB DataFull database instance backups areuseful for disaster recovery protection and routine databa...原创 2012-11-12 14:40:41 · 210 阅读 · 0 评论 -
理解mongodb的ObjectId
Posted in nosql on 三月 8th, 2011 by kafka0102mongodb支持的数据类型中，ObjectId是其自有产物，本文对其做些简单的介绍。 存储在mongodb集合中的每个文档（document）都有一个默认的主键_id，这个主键名称是固定的，它可以是mongodb支持的任何数据类型，默认是ObjectId。在关系数据库schema设...原创 2012-11-14 00:29:58 · 349 阅读 · 0 评论 -
基于tmpfs使用mongoDB
基本思想将MongoDB用作内存数据库（in-memory database），也即，根本就不让MongoDB把数据保存到磁盘中的这种用法，引起了越来越多的人的兴趣。这种用法对于以下应用场合来讲，超实用：置于慢速RDBMS系统之前的写操作密集型高速缓存嵌入式系统无需持久化数据的PCI兼容系统需要轻量级数据库而且库中数据可以很容易清除掉的单元测试（unit tes...原创 2013-08-28 13:51:14 · 287 阅读 · 0 评论