Postgresql源码（27）事务提交与检查点并发场景下丢失事务状态问题分析（race condition第一篇）

本文链接：https://blog.csdn.net/jackgo73/article/details/122478288

感谢Serendipity_Shy指正，原来理解有点问题，20220726更新了一版。
结论在第三部分”3 为什么checkpoint需要等事务提交？“。

Postgresql事务在事务提交时（执行commit的最后阶段）会通过加锁阻塞checkpoint的执行，尽管时间非常短，下面分析为什么需要这样做？不这样做会有什么问题。

1 提交堆栈

看一下事务提交堆栈

#1  0x0000000000539175 in CommitTransaction () at xact.c:2079
#2  0x0000000000539e04 in CommitTransactionCommand () at xact.c:2824
#3  0x000000000087d1ea in finish_xact_command () at postgres.c:2482
#4  0x000000000087af27 in exec_simple_query (query_string=0x24050e0 "insert into t1 values (1,1);") at postgres.c:1154

2 函数调用过程

关键流程


CommitTransaction
    ...
    latestXid = RecordTransactionCommit();
    ...
        BufmgrCommit()
        START_CRIT_SECTION()
        【关键流程】
        END_CRIT_SECTION()
        latestXid = TransactionIdLatest(xid, nchildren, children);
        SyncRepWaitForLSN(XactLastRecEnd, true);
        return latestXid;
    ...
    ProcArrayEndTransaction(MyProc, latestXid);
    
    ...
    // clean ...

3 关键流程

delayChkpt阻塞checkpoint发生位置：

1 事务提交配置delayChkpt

RecordTransactionCommit
  ...
  START_CRIT_SECTION();
  MyPgXact->delayChkpt = true;
  /* 写XLOG：COMMIT */
  /* 写CLOG：内存写不刷盘 */
  MyPgXact->delayChkpt = false;
  ...

2 CreateCheckPoint等待delayChkpt

联动CreateCheckPoint，会在【2】等在所有Xact的delayChkpt为false才能继续

CreateCheckPoint
  // 【1】计算位置（重要）
  WALInsertLockAcquireExclusive();
  curInsert = XLogBytePosToRecPtr(Insert->CurrBytePos);
  freespace = INSERT_FREESPACE(curInsert);
	if (freespace == 0)
	{
		if (curInsert % XLogSegSize == 0)
			curInsert += SizeOfXLogLongPHD;
		else
			curInsert += SizeOfXLogShortPHD;
	}
	checkPoint.redo = curInsert;
	RedoRecPtr = XLogCtl->Insert.RedoRecPtr = checkPoint.redo;
	WALInsertLockRelease();
  
	// 【2】通过delayChkpt等其他所有正在提交中、正在写日志的事务
	vxids = GetVirtualXIDsDelayingChkpt(&nvxids);
	if (nvxids > 0)
	{
		do
		{
			pg_usleep(10000L);	/* wait for 10 msec */
		} while (HaveVirtualXIDsDelayingChkpt(vxids, nvxids));
	}
	pfree(vxids);
  
  // 【3】刷数据
	CheckPointGuts(checkPoint.redo, flags);
  // 【4】记chkpt日志
	XLogBeginInsert();
	XLogRegisterData((char *) (&checkPoint), sizeof(checkPoint));
	recptr = XLogInsert(RM_XLOG_ID,
						shutdown ? XLOG_CHECKPOINT_SHUTDOWN :
						XLOG_CHECKPOINT_ONLINE);

	XLogFlush(recptr);

3 为什么checkpoint需要等事务提交？

3.1 没有delay锁的情况

发生按事件发生时间顺序：

事务A提交写commit日志，做flush，位点1000
checkpoint触发，拿redo位点1500
checkpoint刷数据，包括clog、buffer等
checkpoint刷完数据，写一条XLOG记录redo位点
checkpoint结束
事务A提交写xlog到内存，不做flush
crash发生

redo过程：

由于检查点是正常退出的，日志完成，所以采用上述检查点。
从检查点的xlog中拿出redo位点：1500。
从1500开始重做，注意没有做到1000，现在不知道事务A是否提交。
继续重做完成，由于之间检查点构造时，flush clog时，事务A的clog还没写；所以当前磁盘上的clog并未包含事务A的信息。所以事务A的是否提交的信息丢失了。