Mongodb源码分析--查询结果集封装

    在这个系列的开头几篇文章中，曾经介绍了Mongodb的查询流程，因为篇幅所限，并未介绍对cursor进行遍历查询时，如何将查询记录装填进结果集中。
    
    今天就针对诸如 select top n 这类返回一定数量记录的查询操作，来分析mongodb是如何将查询结果装填到结果集中的。这里要说明的是 之前文章 中的大部分程序流程，在select top 这类操作也都是要执行的，所以这里接着之前文章所说的内容，继续向底层挖掘相应的功能逻辑。

 

    之前查询流程中介绍过QueryPlanSet::Runner::run()方法，它本身为struct类型，主要是用于对执行步骤进行封装（形成依次执行的操作流）,如下（详情见注释）：     

 

// queryoptimizer.cpp shared_ptr < QueryOp > QueryPlanSet::Runner::run() { ...... // 遍历查询操作集合，找到已执行完成的操作 for ( vector < shared_ptr < QueryOp > > ::iterator i = ops.begin(); i != ops.end(); ++ i ) { initOp( ** i ); if ( ( * i) -> complete() ) return * i; } // 将查询操作集合转换成查询队列 std::priority_queue < OpHolder > queue; for ( vector < shared_ptr < QueryOp > > ::iterator i = ops.begin(); i != ops.end(); ++ i ) { if ( ! ( * i) -> error() ) { queue.push( * i ); } } while ( ! queue.empty() ) { mayYield( ops ); // 找出队首的查询操作 OpHolder holder = queue.top(); queue.pop(); QueryOp & op = * holder._op; // 执行下一操作，如果是userqueryop类型，则会执行query.cpp中的next()方法（位于734行） // 该方法会最终将查询结果绑定到response message中(注：通过调用finish方法) nextOp( op ); if ( op.complete() ) { // 如执行完成 if ( _plans._mayRecordPlan && op.mayRecordPlan() ) { op.qp().registerSelf( op.nscanned() ); } return holder._op; } if ( op.error() ) { continue ; } queue.push( holder ); // 如未执行完成，再次该查询操作入队（尾） // 使用查询计划? if ( ! _plans._bestGuessOnly && _plans._usingPrerecordedPlan && op.nscanned() > _plans._oldNScanned * 10 && _plans._special.empty() ) { holder._offset = - opnscanned(); _plans.addOtherPlans( true ); PlanSet::iterator i = _plans._plans.begin(); ++ i; for ( ; i != _plans._plans.end(); ++ i ) { shared_ptr < QueryOp > op( _op.createChild() ); op -> setQueryPlan( i -> get () ); ops.push_back( op ); initOp( * op ); if ( op -> complete() ) return op; queue.push( op ); } _plans._mayRecordPlan = true ; _plans._usingPrerecordedPlan = false ; } } return ops[ 0 ]; } void QueryPlanSet::Runner::nextOp( QueryOp & op ) { GUARD_OP_EXCEPTION( op, if ( ! op.error() ) { op.next(); } ); }

    因为UserQueryOp是QueryOp的子类，如下图：

      因为本文是UserQueryOp对象，则上面代码段中的nextOp()会最终调用该对象的next方法：

 

   // query.cpp virtual void next() { ..... if ( ! _c || ! _c -> ok() ) { finish( false ); return ; } bool mayCreateCursor1 = _pq.wantMore() && ! _inMemSort && _pq.getNumToReturn() != 1 && useCursors; if ( 0 ) { cout << " SCANNING this: " << this << " key: " << _c -> currKey() << " obj: " << _c -> current() << endl; } // 判断是否超出扫描项限制，形如：db.foo.find()._addSpecial( "$maxScan" , 50 ) if ( _pq.getMaxScan() && _nscanned >= _pq.getMaxScan() ) { finish( true ); // 直接返回 return ; } _nscanned = _c -> nscanned(); if ( ! matcher() -> matches(_c -> currKey(), _c -> currLoc() , & _details ) ) { // 未匹配，则指向下一条记录 if ( _details.loadedObject ) _nscannedObjects ++ ; // 扫描对象累加1 } else { _nscannedObjects ++ ; // 扫描对象累加1 DiskLoc cl = _c -> currLoc(); // 当前是否使用shard分片，且是否在当前shard chunk中 if ( _chunkManager && ! _chunkManager -> belongsToMe( cl.obj() ) ) { _nChunkSkips ++ ; // log() << "TEMP skipping un-owned chunk: " << _c->current() << endl; } else if ( _c -> getsetdup(cl) ) { // 值是否重复 // dup } else { // 如匹配 if ( _inMemSort ) { // 当使用scanAndOrder // note: no cursors for non-indexed, ordered results. results must be fairly small. _so -> add( _pq.returnKey() ? _c -> currKey() : _c -> current(), _pq.showDiskLoc() ? & cl : 0 ); } else if ( _ntoskip > 0 ) { _ntoskip -- ; } else { if ( _pq.isExplain() ) { // 如果使用explain指令（用于显示如何执行当前指令） _n ++ ; if ( n() >= _pq.getNumToReturn() && ! _pq.wantMore() ) { // .limit() was used, show just that much. finish( true ); return ; } } else { if ( _pq.returnKey() ) { BSONObjBuilder bb( _buf ); bb.appendKeys( _c -> indexKeyPattern() , _c -> currKey() ); bb.done(); } else if ( _keyFieldsOnly ) { fillQueryResultFromObj( _buf , 0 , _keyFieldsOnly -> hydrate( _c -> currKey() ) ); } else { BSONObj js = _c -> current(); assert( js.isValid() ); if ( _oplogReplay ) { BSONElement e = js[ " ts " ]; if ( e.type() == Date || e.type() == Timestamp ) _slaveReadTill = e._opTime(); } // 将当前记录填充到_buf中，以便finish方法使用该对象 fillQueryResultFromObj( _buf , _pq.getFields() , js , (_pq.showDiskLoc() ? & cl : 0 )); } _n ++ ; if ( ! _c -> supportGetMore() ) { if ( _pq.enough( n() ) || _buf.len() >= MaxBytesToReturnToClientAtOnce ) { finish( true ); return ; } } // 判断是否已够返回一批数据 else if ( _pq.enoughForFirstBatch( n() , _buf.len() ) ) { /* if only 1 requested, no cursor saved for efficiency...we assume it is findOne() */ if ( mayCreateCursor1 ) { _wouldSaveClientCursor = true ; if ( _c -> advance() ) { // more...so save a cursor _saveClientCursor = true ; } } // 查询结束，绑定查询结果数据到response finish( true ); return ; } } } } } // 将游标指向下一条记录，该方法参见 // http://www.cnblogs.com/daizhj/archive/2011/04/15/mongodb_cursor_source_code.html _c -> advance(); }  

    上面代码是实现了对相应cursor的遍历查询，找出（matches）合适的数据，并最后将结果添加到_buf对象中，之后再使用finish方法将_buf绑定到response中（向client发送信息），如下：

   // query.cpp // this plan won, so set data for response broadly void finish( bool stop ) { if ( _pq.isExplain() ) { _n = _inMemSort ? _so -> size() : _n; } // 当使用scanAndOrder（位于scanandorder.h）,表示索引不能用于排序（sort） else if ( _inMemSort ) { if ( _so. get () ) _so -> fill( _buf, _pq.getFields() , _n ); } if ( _c. get () ) { _nscanned = _c -> nscanned(); // tailable设置 if ( _pq.hasOption( QueryOption_CursorTailable ) && _pq.getNumToReturn() != 1 ) _c -> setTailable(); // If the tailing request succeeded. if ( _c -> tailable() ) _saveClientCursor = true ; // 是否保存ClientCursor } if ( _pq.isExplain() ) { massert( 13638 , " client cursor dropped during explain query yield " , _c. get () ); _eb.noteScan( _c. get (), _nscanned, _nscannedObjects, _n, scanAndOrderRequired(), _curop.elapsedMillis(), useHints && ! _pq.getHint().eoo(), _nYields , _nChunkSkips, _keyFieldsOnly. get () > 0 ); } else { if ( _buf.len() ) { // 将_buf绑定到_response _response.appendData( _buf.buf(), _buf.len() ); _buf.decouple(); } } if ( stop ) { setStop(); /* 设置完成标志位"_complete"和_stopRequested （用于MultiPlanScanner::runOp判断条件） */ } else { // 设置完成标志位"_complete" setComplete(); } }  

    好了，今天的内容到这里就告一段落了，最后用一张时序图来总结一下查询（select top）在mongodb中的执行流程：
    

    参考链接：

 

    http://www.cnblogs.com/daizhj/archive/2011/03/18/1988288.html

    http://www.cnblogs.com/daizhj/archive/2011/04/15/mongodb_cursor_source_code.html

 

 

    原文链接:http://www.cnblogs.com/daizhj/archive/2011/05/05/2037717.html
    作者: daizhj, 代震军   
    微博: http://t.sina.com.cn/daizhj
    Tags: mongodb,c++