Mongodb源码分析--更新记录

    在之前的一篇文章 中，介绍了assembleResponse函数(位于instance.cpp第224行)，它会根据op操作枚举类型来调用相应的crud操作，枚举类型定义如下：

   enum Operations { opReply = 1 , /* reply. responseTo is set. */ dbMsg = 1000 , /* generic msg command followed by a string */ dbUpdate = 2001 , /* 更新对象 */ dbInsert = 2002 , // dbGetByOID = 2003, dbQuery = 2004 , dbGetMore = 2005 , dbDelete = 2006 , dbKillCursors = 2007 };  

    可以看到dbUpdate = 2001 为更新操作枚举值，下面我们看一下assembleResponse在确定是更新操作时调用的方法，如下： 

   // instance.cpp文件第224行 assembleResponse( Message & m, DbResponse & dbresponse, const SockAddr & client ) { ..... try { if ( op == dbInsert ) { // 添加记录操作 receivedInsert(m, currentOp); } else if ( op == dbUpdate ) { // 更新记录 receivedUpdate(m, currentOp); } else if ( op == dbDelete ) { // 删除记录 receivedDelete(m, currentOp); } else if ( op == dbKillCursors ) { // 删除Cursors（游标）对象 currentOp.ensureStarted(); logThreshold = 10 ; ss << " killcursors " ; receivedKillCursors(m); } else { mongo::log() << " operation isn't supported: " << op << endl; currentOp.done(); log = true ; } } ..... } }  

    从上面代码可以看出，系统在确定dbUpdate操作时，调用了receivedUpdate()方法（位于instance.cpp文件第570行），下面是该方法的定义：

void receivedUpdate(Message & m, CurOp & op) { DbMessage d(m); // 初始化数据库格式的消息 const char * ns = d.getns(); // 获取名空间，用于接下来insert数据 assert( * ns); // 因为CUD操作在主库中操作，所以这里断言名空间包含的db信息中是不是主库,即"master" uassert( 10054 , " not master " , isMasterNs( ns ) ); op.debug().str << ns << ' ' ; // 获取标志位信息（标识更新一条或多条等）关于消息结构体。有关消息结构参见我的这篇文章： // http://www.cnblogs.com/daizhj/archive/2011/04/02/2003335.html int flags = d.pullInt(); // 获取"更新消息"结构体中的selector（也就是要更新的数据条件,相关于where） BSONObj query = d.nextJsObj(); assert( d.moreJSObjs() ); assert( query.objsize() < m.header() -> dataLen() ); BSONObj toupdate = d.nextJsObj(); // 要更新的记录 uassert( 10055 , " update object too large " , toupdate.objsize() <= BSONObjMaxUserSize); assert( toupdate.objsize() < m.header() -> dataLen() ); assert( query.objsize() + toupdate.objsize() < m.header() -> dataLen() ); // 标识是否为upsert方式，即：如果存在就更新，如果不存在就插入 bool upsert = flags & UpdateOption_Upsert; // 是否更新所有满足条件(where)的记录 bool multi = flags & UpdateOption_Multi; // 是否更新所有节点（sharding状态） bool broadcast = flags & UpdateOption_Broadcast; { string s = query.toString(); /* todo: we shouldn't do all this ss stuff when we don't need it, it will slow us down. instead, let's just story the query BSON in the debug object, and it can toString() lazily */ op.debug().str << " query: " << s; op.setQuery(query); } writelock lk; // 如果不更新所有节点（sharding）且当前物理结点是shard 状态时 if ( ! broadcast && handlePossibleShardedMessage( m , 0 ) ) return ; // if this ever moves to outside of lock, need to adjust check Client::Context::_finishInit Client::Context ctx( ns ); UpdateResult res = updateObjects(ns, toupdate, query, upsert, multi, true , op.debug() ); // 更新对象 lastError.getSafe() -> recordUpdate( res.existing , res.num , res.upserted ); // for getlasterror }

     上面的方法中，主要是对消息进行折包解析，找出要更新的数据记录及相应查询条件，以及更新方式（即upsert），然后再在“写锁”环境下执行更新数据操作。
   
     最终上面代码会调用 updateObjects()方法，该方法定义如下：

 

  // update.cpp 文件第1279行 UpdateResult updateObjects( const char * ns, const BSONObj & updateobj, BSONObj patternOrig, bool upsert, bool multi, bool logop , OpDebug & debug ) { // 断言记录的ns是否在"保留的$集合"中 uassert( 10155 , " cannot update reserved $ collection " , strchr(ns, ' $ ' ) == 0 ); if ( strstr(ns, " .system. " ) ) { /* dm: it's very important that system.indexes is never updated as IndexDetails has pointers into it */ uassert( 10156 , str::stream() << " cannot update system collection: " << ns << " q: " << patternOrig << " u: " << updateobj , legalClientSystemNS( ns , true ) ); } return _updateObjects( false , ns, updateobj, patternOrig, upsert, multi, logop, debug); }

    上面方法对要更新的ns进行判断，以避免因更新保留的集合而对系统结构造成损坏，如果一切正常，则调用 _updateObjects方法，如下:

    // update.cpp 文件第1027行 UpdateResult _updateObjects( bool god, const char * ns, const BSONObj & updateobj, BSONObj patternOrig, bool upsert, bool multi, bool logop , OpDebug & debug, RemoveSaver * rs ) { DEBUGUPDATE( " update: " << ns << " update: " << updateobj << " query: " << patternOrig << " upsert: " << upsert << " multi: " << multi ); Client & client = cc(); int profile = client.database() -> profile; StringBuilder & ss = debug.str; if ( logLevel > 2 ) ss << " update: " << updateobj.toString(); /* idea with these here it to make them loop invariant for multi updates, and thus be a bit faster for that case */ /* NOTE: when yield() is added herein, these must be refreshed after each call to yield! */ NamespaceDetails * d = nsdetails(ns); // can be null if an upsert... NamespaceDetailsTransient * nsdt = & NamespaceDetailsTransient::get_w(ns); /* end note */ auto_ptr < ModSet > mods; // 定义存储修改信息操作（如$inc, $set, $push,）的集合实例 bool isOperatorUpdate = updateobj.firstElement().fieldName()[ 0 ] == ' $ ' ; int modsIsIndexed = false ; // really the # of indexes if ( isOperatorUpdate ) { if ( d && d -> indexBuildInProgress ) { // 如果正在构建索引 set < string > bgKeys; d -> inProgIdx().keyPattern().getFieldNames(bgKeys); // 获取当前对象的所有字段(field)信息 mods.reset( new ModSet(updateobj, nsdt -> indexKeys(), & bgKeys)); // 为mods绑定操作信息 } else { mods.reset( new ModSet(updateobj, nsdt -> indexKeys()) ); // 为mods绑定操作信息; } modsIsIndexed = mods -> isIndexed(); } // upsert：如果存在就更新，如果不存在就插入 if ( ! upsert && ! multi && isSimpleIdQuery(patternOrig) && d && ! modsIsIndexed ) { int idxNo = d -> findIdIndex(); if ( idxNo >= 0 ) { ss << " byid " ; // 根据id更新记录信息 return _updateById(isOperatorUpdate, idxNo, mods. get (), profile, d, nsdt, god, ns, updateobj, patternOrig, logop, debug); } } set < DiskLoc > seenObjects; int numModded = 0 ; long long nscanned = 0 ; MatchDetails details; // 构造“更新操作”实例对象并用其构造游标操作（符）实例 shared_ptr < MultiCursor::CursorOp > opPtr( new UpdateOp( mods. get () && mods -> hasDynamicArray() ) ); // 构造MultiCursor查询游标（参见其构造方法中的 nextClause()语句） shared_ptr < MultiCursor > c( new MultiCursor( ns, patternOrig, BSONObj(), opPtr, true ) ); auto_ptr < ClientCursor > cc; while ( c -> ok() ) { // 遍历(下面的c->advance()调用)游标指向的记录信息 nscanned ++ ; bool atomic = c -> matcher() -> docMatcher().atomic(); // 并将其与更新操作中的条件进行匹配 if ( ! c -> matcher() -> matches( c -> currKey(), c -> currLoc(), & details ) ) { c -> advance(); // 将游标跳转到下一条记录 if ( nscanned % 256 == 0 && ! atomic ) { if ( cc. get () == 0 ) { shared_ptr < Cursor > cPtr = c; cc.reset( new ClientCursor( QueryOption_NoCursorTimeout , cPtr , ns ) ); } if ( ! cc -> yield () ) { cc.release(); // TODO should we assert or something? break ; } if ( ! c -> ok() ) { break ; } } continue ; } Record * r = c -> _current(); // 游标当前所指向的记录 DiskLoc loc = c -> currLoc(); // 游标当前所指向的记录所在地址 // TODO Maybe this is unnecessary since we have seenObjects if ( c -> getsetdup( loc ) ) { // 判断当前记录是否是重复 c -> advance(); continue ; } BSONObj js(r); BSONObj pattern = patternOrig; if ( logop ) { // 记录日志 BSONObjBuilder idPattern; BSONElement id; // NOTE: If the matching object lacks an id, we'll log // with the original pattern. This isn't replay-safe. // It might make sense to suppress the log instead // if there's no id. if ( js.getObjectID( id ) ) { idPattern.append( id ); pattern = idPattern.obj(); } else { uassert( 10157 , " multi-update requires all modified objects to have an _id " , ! multi ); } } if ( profile ) ss << " nscanned: " << nscanned; ...... uassert( 10158 , " multi update only works with $ operators " , ! multi ); // 查看更新记录操作的时间戳，本人猜测这么做可能因为mongodb会采用最后更新时间戳解决分布式系统 // 一致性的问题， 也就是通常使用的Last write wins准则，有关信息可参见这篇文章： // http://blog.mongodb.org/post/520888030/on-distributed-consistency-part-5-many-writer BSONElementManipulator::lookForTimestamps( updateobj ); checkNoMods( updateobj ); // 更新记录 theDataFileMgr.updateRecord(ns, d, nsdt, r, loc , updateobj.objdata(), updateobj.objsize(), debug, god); if ( logop ) { // 记录日志操作 DEV if ( god ) log() << " REALLY?? " << endl; // god doesn't get logged, this would be bad. logOp( " u " , ns, updateobj, & pattern ); } return UpdateResult( 1 , 0 , 1 ); // 返回操作结果 } if ( numModded ) return UpdateResult( 1 , 1 , numModded ); ...... return UpdateResult( 0 , 0 , 0 ); }  

     上面的代码主要执行构造更新消息中的查询条件(selector)游标，并将“游标指向”的记录遍历出来与查询条件进行匹配，如果匹配命中，则进行更 新。（有关游标的构造和继承实现体系，mongodb做的有些复杂，很难一句说清，我会在本系列后面另用篇幅进行说明）
    
    注意上面代码段中的这行代码：

   theDataFileMgr.updateRecord(ns, d, nsdt, r, loc , updateobj.objdata(), updateobj.objsize(), debug, god);  

    该方法会执行最终更新操作，其定义如下：

// pdfile.cpp 文件934行 const DiskLoc DataFileMgr::updateRecord( const char * ns, NamespaceDetails * d, NamespaceDetailsTransient * nsdt, Record * toupdate, const DiskLoc & dl, const char * _buf, int _len, OpDebug & debug, bool god) { StringBuilder & ss = debug.str; dassert( toupdate == dl.rec() ); BSONObj objOld(toupdate); BSONObj objNew(_buf); DEV assert( objNew.objsize() == _len ); DEV assert( objNew.objdata() == _buf ); // 如果_buf中不包含_id，但要更新的记录(toupdate)有_id if ( ! objNew.hasElement( " _id " ) && objOld.hasElement( " _id " ) ) { /* add back the old _id value if the update removes it. Note this implementation is slow (copies entire object multiple times), but this shouldn't happen often, so going for simple code, not speed. */ BSONObjBuilder b; BSONElement e; assert( objOld.getObjectID(e) ); // 获取对象objOld的ID并绑定到e b.append(e); // 为了最好的性能，先放入_id b.appendElements(objNew); objNew = b.obj(); } /* 重复key检查 */ vector < IndexChanges > changes; bool changedId = false ; // 获取要修改的索引信息（包括要移除和添加的index key，并将结果返回给changes） getIndexChanges(changes, * d, objNew, objOld, changedId); // 断言是否要修改_id索引 uassert( 13596 , str::stream() << " cannot change _id of a document old: " << objOld << " new: " << objNew , ! changedId ); dupCheck(changes, * d, dl); // 重复key检查，如果重复则通过断言终止当前程序 // 如果要更新的记录比最终要插入的记录尺寸小 if ( toupdate -> netLength() < objNew.objsize() ) { // 如不合适，则重新分配 uassert( 10003 , " failing update: objects in a capped ns cannot grow " , ! (d && d -> capped)); d -> paddingTooSmall(); if ( cc().database() -> profile ) ss << " moved " ; // 删除指定的记录(record)，删除操作详见我的这篇文章： // http://www.cnblogs.com/daizhj/archive/2011/04/06/mongodb_delete_recode_source_code.html deleteRecord(ns, toupdate, dl); // 插入新的BSONObj信息，插入操作详见我的这篇文章： // http://www.cnblogs.com/daizhj/archive/2011/03/30/1999699.html return insert(ns, objNew.objdata(), objNew.objsize(), god); } nsdt -> notifyOfWriteOp(); d -> paddingFits(); /* 如果有要修改的索引 */ { unsigned keyUpdates = 0 ; int z = d -> nIndexesBeingBuilt(); // 获取索引（包括正在构建）数 for ( int x = 0 ; x < z; x ++ ) { IndexDetails & idx = d -> idx(x); // 遍历当前更新记录要修改(移除)的索引键信息 for ( unsigned i = 0 ; i < changes[x].removed.size(); i ++ ) { try { // 移除当前记录在索引b树中相应信息（索引键） idx.head.btree() -> unindex(idx.head, idx, * changes[x].removed[i], dl); } catch (AssertionException & ) { ss << " exception update unindex " ; problem() << " caught assertion update unindex " << idx.indexNamespace() << endl; } } assert( ! dl.isNull() ); // 获取指定名称(key)下的子对象 BSONObj idxKey = idx.info.obj().getObjectField( " key " ); Ordering ordering = Ordering::make(idxKey); // 生成排序方式 keyUpdates += changes[x].added.size(); // 遍历当前更新记录要修改（插入）的索引键信息 for ( unsigned i = 0 ; i < changes[x].added.size(); i ++ ) { try { // 之前做了dupCheck()操作，所以这里不用担心重复key的问题 // 在b树中添加索引键信息,有关该方法的定义参见我的这篇文章 // http://www.cnblogs.com/daizhj/archive/2011/03/30/1999699.html idx.head.btree() -> bt_insert( idx.head, dl, * changes[x].added[i], ordering, /* dupsAllowed */ true , idx); } catch (AssertionException & e) { ss << " exception update index " ; problem() << " caught assertion update index " << idx.indexNamespace() << " " << e << endl; } } } if ( keyUpdates && cc().database() -> profile ) ss << ' /n ' << keyUpdates << " key updates " ; } // update in place int sz = objNew.objsize(); // 将新修改的记录信息复制到旧记录(toupdate)所在位置 memcpy(getDur().writingPtr(toupdate -> data, sz), objNew.objdata(), sz); return dl; }

    上面代码段主要先对B树索引进行修改（这里采用先移除再重建方式），之后直接更新旧记录在内存中的数据，最终完成了记录的更新操作。

    最后，用一张时序图回顾一下更新记录时mongodb服务端代码的执行流程：

   



    好了，今天的内容到这里就告一段落了，在接下来的文章中，将会介绍Mongodb的游标(cursor)设计体系和实现方式。

    参考链接：
    http://www.cnblogs.com/daizhj/archive/2011/03/30/1999699.html
    http://www.cnblogs.com/daizhj/archive/2011/04/06/mongodb_delete_recode_source_code.html
    http://www.cnblogs.com/daizhj/archive/2011/04/02/2003335.html
    http://blog.mongodb.org/post/520888030/on-distributed-consistency-part-5-many-writer

    原文链接: http://www.cnblogs.com/daizhj/archive/2011/04/08/mongodb_update_recode_source_code.html

    作者: daizhj, 代震军   
    微博: http://t.sina.com.cn/daizhj
    Tags: mongodb,c++,source code