Mongodb源码分析--游标Cursor

 在Mongodb中，其提供了类似关系型数据中cursor对象来遍历数据集合，同时mongodb并要根据不同的场景生成不同的游标对象 （cursor）,比如顺序遍历游标（basicCursor）,反向游标（reverseCursor), B树索引游标（btreeCursor）等。    下面是其游标体系架构类图(位于cursor.cpp, cursor.h, clientcursor.cpp, clientcursor.h）：
    

    从该图中，可以看到除了（ClientCursor）之外，其余游标均继承自Cursor这个类（基类），下面我们看一下其具体实现：

view plain copy to clipboard print ?

1. class  Cursor : boost::noncopyable // 使类和派生类不可复制  
2.     {  
3.          virtual   bool  ok()  =   0 ; // 游标当前指向的对象是否有效  
4.          bool  eof() {  return   ! ok(); } // 是否已到尾部  
5.          virtual  Record *  _current()  =   0 ; // 游标当前指向的记录（记录是组成数据文件的最基本单位）  
6.          virtual  BSONObj current()  =   0 ; // 游标当前指向的BSONObj对象  
7.          virtual  DiskLoc currLoc()  =   0 ; // 游标当前指向的DiskLoc  
8.          virtual   bool  advance()  =   0 ;  /* true=ok,将游标指向到下一条记录所在位置 */  
9.          virtual  BSONObj currKey()  const  {  return  BSONObj(); }  
10.           
11.        /*  标识游标是否为Tailable类型,该类型支持获取最后一条记录后,不马上关闭游标,以便持续获取后面新添加的记录 */  
12.          virtual   bool  tailable() {  
13.              return   false ;  
14.         }  
15.          // 设置游标为Tailable类型  
16.          virtual   void  setTailable() {}  
17.         .....  
18.     }  

     在mongodb中，提供了两种遍历数据集合的方向，分别是“向前”和“倒转”方式，其声明如下：

view plain copy to clipboard print ?

1.  class  AdvanceStrategy {  
2.  public :  
3.      virtual   ~ AdvanceStrategy() { }  
4.      virtual  DiskLoc next(  const  DiskLoc  & prev )  const   =   0 ;  
5. };  
6.  const  AdvanceStrategy  * forward();  // 向前  
7.  const  AdvanceStrategy  * reverse();  // 倒转  

     下面是其实现方式如下：

 

view plain copy to clipboard print ?

1. class  Forward :  public  AdvanceStrategy {  
2.          virtual  DiskLoc next(  const  DiskLoc  & prev )  const  {  
3.              return  prev.rec() -> getNext( prev );  
4.         }  
5.     } _forward;  
6.      class  Reverse :  public  AdvanceStrategy {  
7.          virtual  DiskLoc next(  const  DiskLoc  & prev )  const  {  
8.              return  prev.rec() -> getPrev( prev );  
9.         }  
10.     } _reverse;  
11.      const  AdvanceStrategy  * forward() {  
12.          return   & _forward;  
13.     }  
14.      const  AdvanceStrategy  * reverse() {  
15.          return   & _reverse;  
16.     }  

 

    看到这里，我们有必须简要说明一下mongofile文件的结构，见下面说明：

view plain copy to clipboard print ?

1. /*  a datafile - i.e. the "dbname. < # > " files : 
2.       ---------------------- 
3.       DataFileHeader  :数据头文件信息，包括版本，文件长度，使用情况等 
4.       ---------------------- 
5.       Extent (for a particular namespace) 特定namespace下的extent，可理解为数据集合 
6.         Record ： 单条数据记录 
7.         ... 
8.         Record (some chained for unused space) 
9.       ---------------------- 
10.       more Extents... 其它extent 
11.       ---------------------- 
12. */  

    
     在一个数据库文件中，同一个namespace的extent可以有多个，每一个extent都有一些记录(record)组成，如果访问record，可以使用diskloc加上文件偏移（getOfs：位于diskloc中）获取。
     同时每个extent中包括还包括两个重要属性：

   DiskLoc xnext, xprev;   /*   next/prev extent for this namespace   */

     它们分别记录了同一namespace下，在extent链表中，当前extent的前或后一个extent的位置信息，上面 AdvanceStrategy中的next方法即实现了在两种遍历方向（上面已提到）上，在extent链接中跳转的方式，比如在forward方 向：

view plain copy to clipboard print ?

1. inline DiskLoc Record::getNext( const  DiskLoc &  myLoc) {  
2.         // 如果当前 Record的nextOfs偏移不为空，表示在当前extent中还有后续记录可访问  
3.          if  ( nextOfs  !=  DiskLoc::NullOfs ) {  
4.              /*  defensive  */  
5.              if  ( nextOfs  >=   0   &&  nextOfs  <   10  ) { // 是否为已删除的记录  
6.                 sayDbContext( " Assertion failure - Record::getNext() referencing a deleted record? " );  
7.                  return  DiskLoc();  
8.             }  
9.              return  DiskLoc(myLoc.a(), nextOfs); // 获取下一条记录  
10.         }  
11.         Extent  * e  =  myExtent(myLoc); // 获取当前记录所属的Extent  
12.          while  (  1  ) {  
13.              if  ( e -> xnext.isNull() )  
14.                  return  DiskLoc();  // 已到表尾.  
15.             e  =  e -> xnext.ext(); // 跳转到下一个extent（以便进行next遍历）  
16.              if  (  ! e -> firstRecord.isNull() )  
17.                  break ;  
18.              //  entire extent could be empty, keep looking  
19.         }  
20.          return  e -> firstRecord; // 获取下一个extent中的第一条记录  
21.     }  

    
     在每个extent对象中，其还包括另外两个属性 firstRecord ，lastRecord ， 两者皆为DiskLoc类型，顾名思义，它们分别指向当前extent的第一条和最后一条记录所在位置，这种定义它们是为了后者在extent中进行跳转 时使用，当前如果在更加复杂的capped collection情况下，其值在会删除记录等操作时不断更新，比如下面代码：

view plain copy to clipboard print ?

1. // namespace.cpp 文件912行，该方法在删除记录时调用  
2. id  DataFileMgr::_deleteRecord(NamespaceDetails  * d,  const   char   * ns, Record  * todelete,  const  DiskLoc &  dl) {  
3.       ......  
4.        // extents是一个数据文件区域，该区域有所有记录（records）均属于同一个名空间namespace  
5.        /*  remove ourself from extent pointers  */  
6.       {  
7.           Extent  * e  =  getDur().writing( todelete -> myExtent(dl) );  
8.            if  ( e -> firstRecord  ==  dl ) { // 如果要删除记录为该extents区域第一条记录时  
9.                if  ( todelete -> nextOfs  ==  DiskLoc::NullOfs ) // 且为唯一记录时  
10.                   e -> firstRecord.Null(); // 则该空间第一元素为空  
11.                else // 将当前空间第一条（有效）记录后移 一位  
12.                   e -> firstRecord. set (dl.a(), todelete -> nextOfs);  
13.           }  
14.            if  ( e -> lastRecord  ==  dl ) { // 如果要删除记录为该extents区域最后一条记录时  
15.                if  ( todelete -> prevOfs  ==  DiskLoc::NullOfs ) // 如果要删除记录的前一条信息位置为空时  
16.                   e -> lastRecord.Null(); // 该空间最后一条记录清空  
17.                els e // 设置该空间最后一条（有效）记录位置前移一位  
18.                   e -> lastRecord. set (dl.a(), todelete -> prevOfs);  
19.           }  
20.       }  
21.       ......  
22.   }  

     介绍了cursor基类的定义和遍历方向这两个基本概念后，下面介绍一下在mongodb中，广泛使用的是basicCursor,其定义如下：

view plain copy to clipboard print ?

1. class  BasicCursor :  public  Cursor {  
2.      public :  
3.         BasicCursor(DiskLoc dl,  const  AdvanceStrategy  * _s  =   forward ()) : curr(dl), s( _s ), _nscanned() {  
4.             incNscanned();  
5.             init();  
6.         }  
7.         BasicCursor( const  AdvanceStrategy  * _s  =   forward ()) : s( _s ), _nscanned() {  
8.             init();  
9.         }  
10.          bool  ok() {  return   ! curr.isNull(); }  
11.         Record *  _current() {  
12.             assert( ok() );  
13.              return  curr.rec();  
14.         }  
15.         BSONObj current() {  
16.             Record  * r  =  _current();  
17.             BSONObj j(r);  
18.              return  j;  
19.         }  
20.          virtual  DiskLoc currLoc() {  return  curr; }  
21.          virtual  DiskLoc refLoc()  {  return  curr.isNull()  ?  last : curr; }  
22.          bool  advance();  
23.          virtual   string  toString() {  return   " BasicCursor " ; }  
24.          virtual   void  setTailable() {  
25.              if  (  ! curr.isNull()  ||   ! last.isNull() )  
26.                 tailable_  =   true ;  
27.         }  
28.          virtual   bool  tailable() {  return  tailable_; }  
29.         ......  
30.     };  

      可认看到在其构造函数时，使用了forward方向的遍历方式, 即然定义了Forward方向的游标，mongodb接下来定义了Reverse方向的游标：

 

view plain copy to clipboard print ?

1.  /*  用于排序 { $natural: -1 }  */  
2.  class  ReverseCursor :  public  BasicCursor {  
3.  public :  
4.     ReverseCursor(DiskLoc dl) : BasicCursor( dl, reverse() ) { }  
5.     ReverseCursor() : BasicCursor( reverse() ) { }  
6.      virtual   string  toString() {  return   " ReverseCursor " ; }  
7. };  

 

      另外为了支持capped collection集合类型（有关capped collection，参见这篇链接 ），mongodb分别定义了ForwardCappedCursor 和ReverseCappedCursor：

   

view plain copy to clipboard print ?

1. class  ForwardCappedCursor :  public  BasicCursor,  public  AdvanceStrategy {  
2.      public :  
3.         ForwardCappedCursor( NamespaceDetails  * nsd  =   0 ,  const  DiskLoc  & startLoc  =  DiskLoc() );  
4.          virtual   string  toString() {  
5.              return   " ForwardCappedCursor " ;  
6.         }  
7.          virtual  DiskLoc next(  const  DiskLoc  & prev )  const ;  
8.          virtual   bool  capped()  const  {  return   true ; }  
9.      private :  
10.         NamespaceDetails  * nsd;  
11.     };  
12.      class  ReverseCappedCursor :  public  BasicCursor,  public  AdvanceStrategy {  
13.      public :  
14.         ReverseCappedCursor( NamespaceDetails  * nsd  =   0 ,  const  DiskLoc  & startLoc  =  DiskLoc() );  
15.          virtual   string  toString() {  
16.              return   " ReverseCappedCursor " ;  
17.         }  
18.          virtual  DiskLoc next(  const  DiskLoc  & prev )  const ;  
19.          virtual   bool  capped()  const  {  return   true ; }  
20.      private :  
21.         NamespaceDetails  * nsd;  
22.     };  

 

    
      只不过在ForwardCappedCursor和ReverseCappedCursor中，实现next方法会更复杂一下，因为其要考虑删除的记录不在遍历结果中的情况。相当内容详见cursor.cpp的实现代码:)

    介绍游标和mongofile结构之后，我们大体知道了mongodb如果遍历数据文件，另外mongodb使用了b树索引来加快查询效率，因此mongodb也提供了相应的btreeCursor，其主要用于遍历内存中的b树索引。
     除此以外，为了方便client端使用cursor访问数据库，mongodb提供了ClientCursor，其对Cursor进一步封装（详见clientcursor.h）。

    下面我们看一下mongodb如果要据查询方式来确定使用那种类型游标的：

 

view plain copy to clipboard print ?

1. // pdfile.cpp 文件639行，查询从指定记录位置startLoc开始的记录，这里要据不同的条件使用不同的注季  
2.      shared_ptr < Cursor >  DataFileMgr::findAll( const   char   * ns,  const  DiskLoc  & startLoc) {  
3.         NamespaceDetails  *  d  =  nsdetails( ns );  
4.          if  (  !  d )  
5.              return  shared_ptr < Cursor > ( new  BasicCursor(DiskLoc()));  
6.         DiskLoc loc  =  d -> firstExtent;  
7.         Extent  * e  =  getExtent(loc);  
8.         ......  
9.          if  ( d -> capped )  
10.              return  shared_ptr < Cursor > (  new  ForwardCappedCursor( d , startLoc ) );  
11.          if  (  ! startLoc.isNull() )  
12.              return  shared_ptr < Cursor > ( new  BasicCursor( startLoc ));  
13.         ......  
14.          return  shared_ptr < Cursor > ( new  BasicCursor( e -> firstRecord ));  
15.     }  

    到这里，可以看了，mongodb在cursor的设计和使用方式上是基于“策略模式”（strategy pattern）的，如下图:

    

 

     其中cursor就是各种遍历数据集合的策略，而pdfile.cpp就是持有相应cursor的上下文(context)  ，该模式也是使用比较广泛的一种设置模式，好处这里就不多说了。
        
     好了，今天的内容到这里就告一段落了，在接下来的文章中，将会介绍mongodb中mmap的使用场景。

     原文链接:http://www.cnblogs.com/daizhj/archive/2011/04/15/mongodb_cursor_source_code.html
     作者: daizhj, 代震军   
     微博: http://t.sina.com.cn/daizhj
     Tags: mongodb,c++,cursor