深入理解缓冲区（十四）

4.2.2        日志缓存的管理方式

日志缓存的管理，主要依赖于如下结构：

typedef struct XLogCtlData

{

       /* Protected by WALInsertLock: */

       XLogCtlInsert Insert;    //标识插入位置

 

       /* Protected by info_lck: */

       XLogwrtRqst LogwrtRqst;    //标识刷出请求的位置，请求未必已经被执行

       XLogwrtResult LogwrtResult;    //标识刷出结果的位置，已经刷出日志的位置

       uint32            ckptXidEpoch;       /* nextXID & epoch of latest checkpoint */

       TransactionId ckptXid;

       XLogRecPtr   asyncXactLSN; /* LSN of newest async commit/abort */

       uint32            lastRemovedLog; /* latest removed/recycled XLOG segment */

       uint32            lastRemovedSeg;

 

       /* Protected by WALWriteLock: */

       XLogCtlWrite Write;

 

       /*

        * These values do not change after startup, although the pointed-to pages

        * and xlblocks values certainly do.  Permission to read/write the pages

        * and xlblocks values depends on WALInsertLock and WALWriteLock.

        */

       char    *pages;                   /* buffers for unwritten XLOG pages */    //要写出的日志信息

    //注意，日志信息，大小不同，指针指向不同的块，实际上，放的主要是数据缓存块的信息，这样，恢复时，不是以记录为单位恢复，而是以数据库运行态中的实际的“数据块”（数据缓存中的以块为单位的信息）做恢复。不好之处是，可能使得日志文件中的信息量很大。基于逻辑信息（SQL语句）和基于物理信息（数据块）做恢复，是个争论点。教科书上，通常讲到REDO日志的时候，只会使用“前映像”和“后映像”指代恢复的单位，不明确说出恢复的单位，这是讲原理和工程实现之间的差别所在。

       XLogRecPtr *xlblocks;         /* 1st byte ptr-s + XLOG_BLCKSZ */

       int                  XLogCacheBlck;    /* highest allocated xlog buffer index */

       TimeLineID    ThisTimeLineID;

       TimeLineID    RecoveryTargetTLI;

 

       /*

        * archiveCleanupCommand is read from recovery.conf but needs to be in

        * shared memory so that the bgwriter process can access it.

        */

       char        archiveCleanupCommand[MAXPGPATH];

 

       /*

        * SharedRecoveryInProgress indicates if we're still in crash or archive

        * recovery.  Protected by info_lck.

        */

       bool        SharedRecoveryInProgress;

 

       /*

        * recoveryWakeupLatch is used to wake up the startup process to

        * continue WAL replay, if it is waiting for WAL to arrive or failover

        * trigger file to appear.

        */

       Latch             recoveryWakeupLatch;

 

       /*

        * During recovery, we keep a copy of the latest checkpoint record here.

        * Used by the background writer when it wants to create a restartpoint.

        *

        * Protected by info_lck.

        */

       XLogRecPtr   lastCheckPointRecPtr;

       CheckPoint     lastCheckPoint;

 

       /* end+1 of the last record replayed (or being replayed) */

       XLogRecPtr   replayEndRecPtr;

       /* end+1 of the last record replayed */

       XLogRecPtr   recoveryLastRecPtr;

       /* timestamp of last COMMIT/ABORT record replayed (or being replayed) */

       TimestampTz recoveryLastXTime;

 

       slock_t           info_lck;         /* locks shared variables shown above */

} XLogCtlData;

 

       日志缓存管理的方式，主要是如下算法（方法）构成：

       日志缓存，由8k大小的共享缓存构成（8k不准确，可以查看XLOGShmemSize理解更为精确）。日志缓存，有个“元信息”块，就像数据缓冲区的“BufferDesc”一样，有个“XLogCtlData”描述了日志缓冲区的使用情况。

       日志缓存，是个固定大小的区域（如下图左侧，2个方块，代表的是同一个日志缓冲区），而日志文件，是个线性连续不断的文件（如下图右侧，使用了3个方块表示日志文件，但日志文件根据日志号连续标识，可以看作是一个线性增长的文件序列），如何以固定区域的一块内存对应外存的线性文件，是我们需要掌握的问题。

 

 

       对于日志缓存而言（如上图左侧），其大小是固定的，内存总是要外外存小，这样，以有限的内存映射无限的外存文件，则必须循环使用内存。其用法，有点像我们学习过的“循环数组”。

1.         内存日志缓存，其大小固定

2.         内存日志缓存中存放的日至块，大小不固定。（图示的左侧的日志缓存中的小块，看起来均匀，但实际上，其中存放的日志信息的大小是不一样的）

3.         当内存日志缓存中有足够的空间（每次存放日志信息的时候，主要要比较空余空间大小），则可以把信息放到日志缓存中

4.         当日志缓存没有足够的空间，则需要写出（调用XLogWrite）一些信息到日志文件，以便重复利用日志（循环使用）

5.         当日志缓存写到尾部且空间不足时，除了要刷出一部分数据外，还要注意，从日子缓存头部刷出信息后要被重复利用

6.         日志缓存的信息是线性刷出的，这样日志文件中的信息必然是连续的（连续通过“LSN”这样的东西表示，可以通过PageGetLSN函数入手追踪LSN，实则是日志的ID和文件中的偏移的组合标识，日志ID对应一个日志文件，偏移则标识了文件内的位置，这样就唯一标识了一个物理位置）

7.         日志缓存到日志文件，是单项的，只写不读，对IO的影响不大

8.         特别需要注意阅读代码的地方是：跨页写（调用XLByteInPrevSeg函数之处）、日志文件的切换（写满后怎么再写到下一个文件，XLogWrite函数中如何调用XLogFileClose和XLogFileInit和XLogFileOpen函数）