PostgreSQL的存储系统二：REDOLOG文件存储结构二

REDOLOG文件里的用户数据和数据文件里的用户数据存储结构相同

         几个月前同事给台湾一家公司培训《pg9 ad admin》时，有个学员提及WAL里记录的内容为Query时的SQL语句（比如insert等），同事告知WAL里记录的tuple信息，而非SQL，该学员坚持里面是SQL或SQL+tuple，并说oracle的redo日志里记录的是SQL（不知到这个从哪里知道的，也许是日志挖掘出来SQL的缘由吧）。便看了一下源码（还是开源的好）。

       前面我写过一篇文章《PostgreSQL的存储系统二：REDOLOG文件存储结构》，见地址http://beigang.iteye.com/blog/1565121或http://blog.csdn.net/beiigang/article/details/7680905，其中提到Pg XLOG文件的存储格式大致如下：

<PageHeaderData>

<XLogRecord>

<rmgr-specific data>

<BkpBlock>

<XLogRecData>里面包括<CheckPoint>等

<BkpBlock>

<XLogRecData>

<BkpBlock>

<XLogRecData>

……

用户相关的数据写在XLogRecData结构（定义见下面）的buffer成员里，但具体写成什么样子没有提及，正好这儿再深入讨论一下。

typedefstruct XLogRecData

{

    char      *data;         /* 资源管理器包含数据的开始 */

    uint32     len;          /* 资源管理器包含数据的长度 */

    Buffer     buffer;       /* 有相应数据的buffer，如果有的话 */

    bool       buffer_std;   /* buffer是否有标准pd_lower/pd_upper头 */

    struct XLogRecData *next;   /* 链里的下一个结构 */

} XLogRecData;

 

       为了说清楚这个问题，跑了个例子如下：

              INSERT INTO TABLE1(ID,GNAME) VALUES(18,’GangBei’);

       看这个例子涉及的调用流程前，先回顾一下pg服务进程的调用流程，一切就绪后进入无限循环，等候客户端指令，

 

Postgres服务进程调用流程图

这个例子的调用流程和《PostgreSQL服务过程中的那些事二：Pg服务进程处理简单查询》系列博文中的流程大致相同，也是调用exec_simple_query方法，和前面《PostgreSQL服务过程中的那些事二：Pg服务进程处理简单查询》中select例子不同的是，本节中insert的例子在portalrun方法里调用了执行器的ExecInsert方法，最终调用了heap_insert方法，在这个方法里完成了记录写入数据文件，并调用了XLogInsert方法，完成了XLOG的WAL日志写入。更具体的方法调用流程参见下面的调用流程图，其他和《PostgreSQL服务过程中的那些事二：Pg服务进程处理简单查询》基本相同的部分略去。

 

Insert SQL 语句调用流程

 

在heap_insert方法里，组装好tuple，调用RelationGetBufferForTuple方法找到shmem里缓存数据文件块的buffer，调用RelationPutHeapTuple方法，把组装好的元组放到合适的buffer中合适的位置；然后组装XLogRecData类型变量rdata，把buffer赋给XLogRecData的成员buffer，接着调用XLogInsert方法，并传入rdata，在XLogInsert方法里，用memcpy方法把rdata写入shmem对应的cache里，最后pg都是通过操作系统接口I/O接口把WAL日志和数据写入对应的文件。

既然XLOG里写的 Insert的wal日志里的用户数据和数据文件中的一样，那我们简单看一下pg中数据文件里的tuple，tuple存放在堆中，一个tuple就是一行表记录，在数据文件的页里存放的结构如下图：

 

数据文件页面布局图

 

 

元组结构图

 

元组头结构和其字段表示意义见下面：

typedefstruct HeapTupleHeaderData

{

       union

       {

              HeapTupleFieldst_heap;