MongoDB
文章平均质量分 63
East271536394
这个作者很懒,什么都没留下…
展开
-
Mongodb源码分析--插入记录及索引B树构建
在之前的一篇文章中,介绍了assembleResponse函数(位于instance.cpp第224行),它会根据op操作枚举类型来调用相应的crud操作,枚举类型定义如下: enum Operations { opReply = 1, /* reply. responseTo is set. */转载 2011-06-26 13:35:00 · 145 阅读 · 0 评论 -
Mongodb源码分析--删除记录
在之前的一篇文章中,介绍了assembleResponse函数(位于instance.cpp第224行),它会根据op操作枚举类型来调用相应的crud操作,枚举类型定义如下: enum Operations { opReply = 1, /* reply. responseTo is set. */原创 2011-06-26 13:40:00 · 765 阅读 · 0 评论 -
Mongodb源码分析--游标Cursor
在Mongodb中,其提供了类似关系型数据中cursor对象来遍历数据集合,同时mongodb并要根据不同的场景生成不同的游标对象(cursor),比如顺序遍历游标(basicCursor),反向游标(reverseCursor), B树索引游标(btreeCursor)等。 下面是其游标体系架构类图(位于cursor.cpp, cursor.h, clie转载 2011-06-26 13:45:00 · 645 阅读 · 0 评论 -
Mongodb源码分析--Mongos之分布式锁
在之前的一篇文章中,介绍了balancer会声明使用分布式锁来协调分布式环境下的信息沟通并确保事务一致性,有关分布式锁的一些原理性信息可以参见这几篇文章: http://wenku.baidu.com/view/19ce3085b9d528ea81c77982.html http://wenku.baidu.com/view/d94ac11ffc4ffe4733转载 2011-06-26 14:00:00 · 1049 阅读 · 0 评论 -
Mongodb源码分析--Replication之主从模式--Master
mongodb中提供了复制(Replication)机制,通过该机制可以帮助我们很容易实现读写分离方案,并支持灾难恢复(服务器断电)等意外情况下的数据安全。 在老版本(1.6)中,Mongo提供了两种方式的复制:master-slave及replica pair模式(注:mongodb最新支持的replset复制集方式可看成是pair的升级版,它解决pair只能在两个结点间转载 2011-06-26 14:11:00 · 877 阅读 · 0 评论 -
Mongodb源码分析--主程序入口main()
作为这个系列的开篇,本人特此声明,因为本人技术功力有限,且对mongodb源码目前也在研究探索中,可能会对mongodb内部某些实现机制及原作者的意图领会不够精确,因此错误再所难免,希望大家批评指正。另外本文所使用的mongodb源码为1.8 rc1,同时如果有条件的话,大家可以安装vs2010,用C++来编译调试mongodb源码,以便通过运行过程中的数据和流程来验证自己的判断。转载 2011-06-26 13:26:00 · 736 阅读 · 0 评论 -
Mongodb源码分析--查询结果集封装
在这个系列的开头几篇文章中,曾经介绍了Mongodb的查询流程,因为篇幅所限,并未介绍对cursor进行遍历查询时,如何将查询记录装填进结果集中。 今天就针对诸如select top n 这类返回一定数量记录的查询操作,来分析mongodb是如何将查询结果装填到结果集中的。这里要说明的是之前文章中的大部分程序流程,在select top 这类操作也都是要执转载 2011-06-26 13:52:00 · 638 阅读 · 0 评论 -
第六节 MongoDB 状态监控、备份复制及自动分片
如果MongoDB仅仅是一个文档型的数据库,那就没有什么亮点了,然而MongoDB最大优点在于读扩展,热备份,故障恢复以及自动分片(写扩展)。这节系列结束篇就把这些功能介绍一下。备份复制实现了数据库备份的同时,实现了读写分离,又实现了读操作的负载均衡,即一台主写服务器,多台从转载 2011-09-23 08:59:24 · 1273 阅读 · 0 评论 -
mongodb sharding 配置
启动202.173.8.57 (Shard1)./mongod --port 30001 --dbpath /home/mongodb/workspace/db/shard1 --logpath /home/mongodb/workspace/db/log/shard1.log --shardsvr --logappend --fork202.173.8.59 (Shard2)原创 2013-03-01 09:32:01 · 848 阅读 · 0 评论 -
查看mongodb 当前任务
mongos> db.currentOp(){ "inprog" : [ { "opid" : "shard0000:34451622", "active" : true, "secs_running" : 3, "op" : "query",原创 2013-03-01 09:51:23 · 4493 阅读 · 0 评论 -
mongodb 三节点Shard Replica set 配置
1. 使用mongodb 版本 mongodb-linux-x86_64-2.2.3-rc12. 环境配置 202.173.88.57 202.173.88.59 202.173.88.69 shard1 端口 27017shard2 端口 27018shard3 端口 27019config 端口20000mongos 端口40原创 2013-04-17 20:03:02 · 3355 阅读 · 0 评论 -
Mongodb源码分析--日志及持久化
在本系列的第一篇文章(主函数入口)中,介绍了mongodb会在系统启动同时,初始化了日志持久化服务,该功能貌似是1.7版本后引入到系统中的,主要用于解决因系统宕机时,内存中的数据未写入磁盘而造成的数据丢失。其机制主要是通过log方式定时将操作日志(如cud操作等)记录到db的journal文件夹下,这样当系统再次重启时从该文件夹下恢复丢失的(内存)数据。也就是在_initAndL原创 2011-06-26 13:33:00 · 616 阅读 · 0 评论 -
Mongodb源码分析--Mongos之balancer(均衡)
在之前的一篇文章中,介绍了mongos的启动流程,在那篇文章的结尾,介绍了mongos使用balancer来进行均衡,今天就继续讲其实现方式。 首先我们看一下Balancer及相关实现策略的类图: 可以看到Balancer类里包含一个BalancerPolicy,其指向一个均衡策略,该策略会实现查找并收集要迁移的chunk。转载 2011-06-26 14:16:00 · 662 阅读 · 0 评论 -
Mongodb源码分析--更新记录
在之前的一篇文章中,介绍了assembleResponse函数(位于instance.cpp第224行),它会根据op操作枚举类型来调用相应的crud操作,枚举类型定义如下: enum Operations { opReply = 1, /* reply. responseTo is set. */转载 2011-06-26 13:43:00 · 759 阅读 · 0 评论 -
Mongodb源码分析--Command体系架构
Command在Mongodb中是一类特殊操作,它提供了强大的管理及各项操作(比如建库,索引,删除集合等)。可以说通过Command可以完成几乎所有想做的事情。同时Mongodb开发者在Command上又做了非常清晰体系架构和设计,便于管理和高效执行各种类型的Command。 今天就专门用一篇篇幅来着重介绍一下其Command的体系架构,并用例子来介绍mongod是如何将Comma转载 2011-06-26 13:50:00 · 751 阅读 · 0 评论 -
Mongodb源码分析--Mongos
MongoDB提供了auto-sharding 功能。因为其是auto-sharding,即mongodb通过mongos(一个自动分片模块,用于构建一个大规模的可扩展的数据库集群,这个集群可以并入动态增加的机器)自动建立一个水平扩展的数据库集群系统,将数据库分表存储在sharding的各个节点上。 一个mongodb集群包括一些shards(包括一些mongod进程),m转载 2011-06-26 13:55:00 · 674 阅读 · 0 评论 -
Mongodb源码分析--链接池(ConnPool)
在之前的一篇文章中,介绍了mongos的balaner的执行流程,其中在源码中的Balancer::run()方法里简单说明了为了连接到configserver,balancer通过构造ScopedDbConnection实现来链接并执行相应操作,因为当时篇幅所限,只是该链接使用池化的方式一带而过,今天就专门介绍一下mongodb中使用池化方式来管理链接对象以提升链接效率的原理。转载 2011-06-26 14:04:00 · 1045 阅读 · 0 评论 -
Mongodb源码分析--主程序入口main()
作为这个系列的开篇,本人特此声明,因为本人技术功力有限,且对mongodb源码目前也在研究探索中,可能会对mongodb内部某些实现机制及原作者的意图领会不够精确,因此错误再所难免,希望大家批评指正。另外本文所使用的mongodb源码为1.8 rc1,同时如果有条件的话,大家可以安装vs2010,用C++来编译调试mongodb源码,以便通过运行过程中的数据和流程来验证自己的判断。转载 2011-06-26 13:27:00 · 530 阅读 · 0 评论 -
mongodb源码分析--查询
在之前的一篇文章中,介绍了mongodb的主程序入口main()的执行流程,其实main只是实始化一些参数信息并做了些后台线程任务的启动工作(包括数据准备和恢复),并最终启动一个线程进行循环侦听。今天将会介绍在mongodb中数据查询 (find)的流程,以了解mongodb是如果对message进行拆包分析,以及数据进行表扫描及索引使用的。 好了,开始今天的转载 2011-06-26 13:30:00 · 550 阅读 · 0 评论 -
Mongodb源码分析--消息(message)
在Mongodb中,客户端和服务端进行通信是基于mongodb wire protocol。说白了,该协议是一个简单的基于socket,请求/响应方式的协议,客户端使用常规的TCP/IP套接字(socket)进行通信。 客户端与服务端使用约定的消息(格式)进行通信,其消息头结构与C语言中的struct类似。具体的代码(位于message.cpp): str转载 2011-06-26 13:38:00 · 798 阅读 · 0 评论 -
Mongodb源码分析--内存文件映射(MMAP)
在Mongodb中,其使用了操作系统底层提供的内存映射机制,即MMAP。MMAP可以把磁盘文件的一部分或全部内容直接映射到内存,这样文件中的信息位置就会在内存中有对应的地址空间,这时对文件的读写可以直接用指针来做,而不需要read/write函数了。同时操作系统会将数据刷新保存到磁盘上。如下图: 鉴于linux,window系统为mmap所提转载 2011-06-26 13:47:00 · 807 阅读 · 0 评论 -
Mongodb源码分析--Mongos之balancer(均衡)
在之前的一篇文章中,介绍了mongos的启动流程,在那篇文章的结尾,介绍了mongos使用balancer来进行均衡,今天就继续讲其实现方式。 首先我们看一下Balancer及相关实现策略的类图: 可以看到Balancer类里包含一个BalancerPolicy,其指向一个均衡策略,该策略会实现查找并收集要迁移的chunk。转载 2011-06-26 13:57:00 · 822 阅读 · 0 评论 -
Mongodb源码分析--Replication之主从模式--Slave
在上文中介绍了主从(master-slave)模式下的一些基本概念及master的执行流程。今天接着介绍一下从(slave)结点是如何发起请求,并通过请求获取的oplog信息来构造本地数据的。 不过开始今天的正文前,需要介绍一下mongodb在slave结点上进行数据同步时的一个大致流程: 1.当一个从结点启动时,它会对主结点进行一次彻底同步。从结点转载 2011-06-26 14:14:00 · 924 阅读 · 0 评论 -
mongodb删除集合后磁盘空间不释放
硬盘空间回收:mongodb删除集合后磁盘空间不释放,只有用db.repairDatabase()去修复才能释放。但是在修复的过程中如果出现了非正常的mongodb的挂掉,再次启动时启动不了的,需要先修复才可以,可以利用./mongod --repair --dbpath=/data/mongo/ 如果你是把数据库单独的放在一个文件夹中指定dbpath时就指向要修复的数据库就可以,修复原创 2013-03-11 21:34:25 · 3688 阅读 · 0 评论