PostgreSQL DBA(17) - XLOG Record data内部结构

上节介绍了WAL segment file的总体内部结构和其中的部分结构，本节继续介绍其中的XLOG Record data结构。

一、XLOG Record data

WAL segment file默认大小为16MB,其内部结构如下图所示:

WAL segment file内部结构

注:上一版本的内部结构图没有标明prev XLOG Record data,错误认为XLogLongPageHeaderData为56Btyes,特此更正!

其中XLOG Record data是存储实际数据的结构,由以下几部分组成:
1、0..N个XLogRecordBlockHeader,每个XLogRecordBlockHeader对应一个block data;
注意:如设置了BKPBLOCK_HAS_IMAGE标记,则在XLogRecordBlockHeader结构体后跟XLogRecordBlockImageHeader结构体;如设置了BKPIMAGE_HAS_HOLE和 BKPIMAGE_IS_COMPRESSED则在XLogRecordBlockImageHeader后跟XLogRecordBlockCompressHeader结构体;
2、XLogRecordDataHeader[Short|Long]:如数据<256Bytes,则使用Short格式,否则使用Long格式;
3、block data:full-write-block数据,如启用了压缩,则压缩存储,相关元数据存储在XLogRecordBlockHeader中的XLogRecordBlockCompressHeader中.
4、main data:(tuple) data/checkpoint等日志数据.
插入数据时的XLOG Record data内部结构如下图所示:

XLOG Record data for DML

下面逐一介绍上述几个部分,通过使用hexdump工具查看相关数据。

1、XLogRecordBlockHeader

uint8 id

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 80 -n 1
00000050  00                                                |.|
00000051

块引用ID为0x00,即0号Block.

uint8 fork_flags

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 81 -n 1
00000051  20                                                | |
00000052

值为0x20,高4位用于标记,即BKPBLOCK_HAS_DATA

uint16 data_length

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 82 -n 2
00000052  1e 00                                             |..|
00000054

payload bytes = 0x001E,十进制数值为30.
接下来是RelFileNode

RelFileNode
tablespace/database/relation,均为Oid类型(unsigned int)
1.tablespace

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 84 -n 4
00000054  7f 06 00 00                                       |....|
00000058

值为0x0000067F,十进制值为1663
表空间为default

testdb=# select * from pg_tablespace where oid=1663;
  spcname   | spcowner | spcacl | spcoptions 
------------+----------+--------+------------
 pg_default |       10 |        | 
(1 row)

2.database

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 88 -n 4
00000058  12 40 00 00                                       |.@..|
0000005c

值为0x00004012,十进制值为16402,数据库为testdb

testdb=# select * from pg_database where oid=16402;
 datname | datdba | encoding | datcollate | datctype | datistemplate | datallowconn | datconnlimit | datlastsysoid | datfroze
nxid | datminmxid | dattablespace | datacl 
---------+--------+----------+------------+----------+---------------+--------------+--------------+---------------+---------
-----+------------+---------------+--------
 testdb  |     10 |        6 | C          | C        | f             | t            |           -1 |         13284 |         
 561 |          1 |          1663 | 
(1 row)

3.relation

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 92 -n 4
0000005c  56 42 00 00                                       |VB..|
00000060

值为0x00004256,十进制值为16982

testdb=# select oid,relfilenode,relname from pg_class where relfilenode = 16982;
  oid  | relfilenode | relname 
-------+-------------+---------
 16982 |       16982 | t_jfxx
(1 row)

相应的关系为t_jfxx

BlockNumber

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 96 -n 4
00000060  85 00 00 00                                       |....|
00000064

值为0x00000085,十进制值为133,这是对应的数据块号.

2、XLogRecordDataHeaderShort

接下来是XLogRecordDataHeaderShort/Long,由于数据小于256B,使用XLogRecordDataHeaderShort结构
unit8 id

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 100 -n 1
00000064  ff                                                |.|
00000065

值为0xFF --> XLR_BLOCK_ID_DATA_SHORT 255
uint8 data_length

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 101 -n 1
00000065  03                                                |.|
00000066

值为0x03,3个字节,指的是main data的大小,3个字节是xl_heap_insert结构体的大小.

3、block data

XLogRecordDataHeaderShort之后是block data,由两部分组成:
1.xl_heap_header
2.Tuple data

xl_heap_header
1.uint16 t_infomask2

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 102 -n 2
00000066  03 00                                             |..|
00000068

t_infomask2值为0x03,二进制值为00000000 00000011

2.uint16 t_infomask

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 104 -n 2
00000068  02 08                                             |..|
0000006a

t_infomask值为0x0802,二进制值为00001000 00000010

3.uint8 t_hoff

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 106 -n 1
0000006a  18                                                |.|
0000006b

t_hoff值(偏移)为0x18,十进制值为24

Tuple data
XLOG Record的大小是0x4F,即79B,减去头部数据XLogRecord(24B) + XLogRecordBlockHeader(20B) + XLogRecordDataHeaderShort(2B) + xl_heap_header(5B) + main data(3B),剩余25B

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 107 -n 25
0000006b  00 0d 32 30 39 31 39 0f  32 30 31 33 30 37 00 00  |..20919.201307..|
0000007b  00 00 00 00 00 00 03 b3  40                       |........@|
00000084

4、main data

这是xl_heap_insert结构体
uint16 OffsetNumber

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 132 -n 2
00000084  26 00                                             |&.|
00000086

插入的tuple的偏移为0x0026,十进制为38

uint8 flags

[xdb@localhost pg_wal]$ hexdump -C 000000010000000100000042 -s 134 -n 1
00000086  00                                                |.|
00000087

标志位为0x00

二、参考资料

WAL Internals Of PostgreSQL
PostgreSQL 源码解读（109）- WAL#5（相关数据结构）
PostgreSQL DBA(16) - WAL segment file内部结构
关于结构体占用空间大小总结

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/6906/viewspace-2374776/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/6906/viewspace-2374776/