REDOLOG文件里的用户数据和数据文件里的用户数据存储结构相同
几个月前同事给台湾一家公司培训《pg9 ad admin》时,有个学员提及WAL里记录的内容为Query时的SQL语句(比如insert等),同事告知WAL里记录的tuple信息,而非SQL,该学员坚持里面是SQL或SQL+tuple,并说oracle的redo日志里记录的是SQL(不知到这个从哪里知道的,也许是日志挖掘出来SQL的缘由吧)。便看了一下源码(还是开源的好)。
前面我写过一篇文章《PostgreSQL的存储系统二:REDOLOG文件存储结构》,见地址http://beigang.iteye.com/blog/1565121或http://blog.csdn.net/beiigang/article/details/7680905,其中提到Pg XLOG文件的存储格式大致如下:
<PageHeaderData>
<XLogRecord>
<rmgr-specific data>
<BkpBlock>
<XLogRecData>里面包括<CheckPoint>等
<BkpBlock>
<XLogRecData>
<BkpBlock>
<XLogRecData>
……
用户相关的数据写在XLogRecData结构(定义见下面)的buffer成员里,但具体写成什么样子没有提及,正好这儿再深入讨论一下。
typedefstruct XLogRecData
{
char *data; /* 资源管理器包含数据的开始 */
uint32 len; /* 资源管理器包含数据的长度 */
Buffer buffer; /* 有相应数据的buffer,如果有的话 */
bool buffer_std; /* buffer是否有标准pd_lower/pd_upper头 */
struct XLogRecData *next; /* 链里的下一个结构 */
} XLogRecData;
为了说清楚这个问题,跑了个例子如下:
INSERT INTO TABLE1(ID,GNAME) VALUES(18,’GangBei’);
看这个例子涉及的调用流程前,先回顾一下pg服务进程的调用流程,一切就绪后进入无限循环,等候客户端指令,
Postgres服务进程调用流程图
这个例子的调用流程和《PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询》系列博文中的流程大致相同,也是调用exec_simple_query方法,和前面《PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询》中select例子不同的是,本节中insert的例子在portalrun方法里调用了执行器的ExecInsert方法,最终调用了heap_insert方法,在这个方法里完成了记录写入数据文件,并调用了XLogInsert方法,完成了XLOG的WAL日志写入。更具体的方法调用流程参见下面的调用流程图,其他和《PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询》基本相同的部分略去。
Insert SQL 语句调用流程
在heap_insert方法里,组装好tuple,调用RelationGetBufferForTuple方法找到shmem里缓存数据文件块的buffer,调用RelationPutHeapTuple方法,把组装好的元组放到合适的buffer中合适的位置;然后组装XLogRecData类型变量rdata,把buffer赋给XLogRecData的成员buffer,接着调用XLogInsert方法,并传入rdata,在XLogInsert方法里,用memcpy方法把rdata写入shmem对应的cache里,最后pg都是通过操作系统接口I/O接口把WAL日志和数据写入对应的文件。
既然XLOG里写的 Insert的wal日志里的用户数据和数据文件中的一样,那我们简单看一下pg中数据文件里的tuple,tuple存放在堆中,一个tuple就是一行表记录,在数据文件的页里存放的结构如下图:
数据文件页面布局图
元组结构图
元组头结构和其字段表示意义见下面:
typedefstruct HeapTupleHeaderData
{
union
{
HeapTupleFieldst_heap;