postgres预写式日志的内核实现详解-heap2类型

2019独角兽企业重金招聘Python工程师标准>>>

  导读：

    postgres预写式日志的内核实现详解-概述

 

heap2(RM_HEAP2_ID)是数据库对heap的修改产生的wal记录（heap除去），如下为heap2类型的wal子类型

#define XLOG_HEAP2_REWRITE		0x00
#define XLOG_HEAP2_CLEAN		0x10
#define XLOG_HEAP2_FREEZE_PAGE	0x20
#define XLOG_HEAP2_CLEANUP_INFO 0x30
#define XLOG_HEAP2_VISIBLE		0x40
#define XLOG_HEAP2_MULTI_INSERT 0x50
#define XLOG_HEAP2_LOCK_UPDATED 0x60
#define XLOG_HEAP2_NEW_CID		0x70

 

XLOG_HEAP2_MULTI_INSERT

这种wal子类型在copy命令向表中插入数据时产生。代码在heap_multi_insert()函数中。redo函数为heap_xlog_multi_insert()。

描述结构体

typedef struct xl_heap_multi_insert
{
	uint8		flags;
	uint16		ntuples;
	OffsetNumber offsets[FLEXIBLE_ARRAY_MEMBER];
} xl_heap_multi_insert;

ntuples:这个mutinsert wal记录中，包含的tuple的个数。

offsets：每一个tuple的在其page的相对位置。

flags：标志位

#define XLH_INSERT_ALL_VISIBLE_CLEARED			(1<<0)// VM稳健性相关
#define XLH_INSERT_LAST_IN_MULTI				(1<<1)//一次copy命令产生的最后一个muti insert记录会有此标记，logicaldecoding使用
#define XLH_INSERT_IS_SPECULATIVE				(1<<2)//预测插入
#define XLH_INSERT_CONTAINS_NEW_TUPLE			(1<<3)//即使fpw也要写入元组数据

此wal类型中可能包含的数据

①xl_heap_multi_insert结构体：一定存在，通过XLogRegisterData()注册

②插入的元组所在的page数据：可能存在，使用XLogRegisterBuffer（）注册。

③插入的元组数据：可能存在，使用XLogRegisterBufData（）注册。

一个copy命令可能插入很多个page的数据。一个muti insert记录里的所有元组必须插入到同一个page里。因此一个copy命令可能会产生很多这个wal记录。

 

XLOG_HEAP2_REWRITE

开启logical wal日志模式时，在系统表和一些特殊用户表在执行vacuum full的过程中。

会产生这个wal记录类型。这个wal日志类型主要是为了恢复pg_logical/mapping下的文件，mapping目录下的文件用于在系统表发生vacuum full后来判断系统表元组的可见性。

描述结构体

typedef struct xl_heap_rewrite_mapping
{
	TransactionId mapped_xid;	/* xid that might need to see the row */
	Oid			mapped_db;		/* DbOid or InvalidOid for shared rels */
	Oid			mapped_rel;		/* Oid of the mapped relation */
	off_t		offset;			/* How far have we written so far */
	uint32		num_mappings;	/* Number of in-memory mappings */
	XLogRecPtr	start_lsn;		/* Insert LSN at begin of rewrite */
} xl_heap_rewrite_mapping;

mapped_xid:每一个mapping都是用xid来标识的

mapped_db:数据库oid

mapped_rel：表的oid

offset:pg_logical/mapping下这个map文件下一个写入的位置

num_mappings：map的数量

start_lsn：rewrite开始时的lsn

此wal类型中可能包含的数据

①xl_heap_rewrite_mapping结构体：一定存在，通过XLogRegisterData()注册

②此mapping的数据LogicalRewriteMappingData如下：一定存在，使用XLogRegisterData（）注册。

typedef struct LogicalRewriteMappingData
{
	RelFileNode old_node;
	RelFileNode new_node;
	ItemPointerData old_tid;
	ItemPointerData new_tid;
} LogicalRewriteMappingData;

 

XLOG_HEAP2_CLEAN

执行vacuum会产生此wal记录类型，一个page被清理后，会对这个page的item进行更新

typedef struct xl_heap_clean
{
	TransactionId latestRemovedXid;
	uint16		nredirected;
	uint16		ndead;
	/* OFFSET NUMBERS are in the block reference 0 */
} xl_heap_clean;

latestReemovedXid：最旧xid，备机使用

nredirected：重定向的item的个数

ndead：死亡的item的个数

此wal类型中可能包含的数据

①xl_heap_clean结构体：一定存在，通过XLogRegisterData()注册

②清理的page的所有数据：可能存在，使用XLogRegisterBuffer（）注册。

③'重定向的item的位置'数组，可能存在，通过XLogRegisterBufData()注册

④'死亡的item的位置'数组，可能存在，通过XLogRegisterBufData()注册

⑤'未使用的item的位置'数组，可能存在，通过XLogRegisterBufData()注册

 

XLOG_HEAP2_FREEZE_PAGE

执行vacuum时，如果有元组被freeze,产生此wal记录。

描述结构体

typedef struct xl_heap_freeze_page
{
	TransactionId cutoff_xid;
	uint16		ntuples;
} xl_heap_freeze_page;

cutoff_xid：最旧xid，备机使用

ntuples：freeze的元组的个数

此wal类型中可能包含的数据

①xl_heap_freeze_page结构体，一定存在，通过XLogRegisterData()注册

②清理的page的所有数据：可能存在，使用XLogRegisterBuffer（）注册。

③每一个freeze元组的清理结果，清理结果用xl_heap_freeze_tuple存储，一定存在，使用XLogRegisterBufData()注册。

typedef struct xl_heap_freeze_tuple
{
	TransactionId xmax;
	OffsetNumber offset;
	uint16		t_infomask2;
	uint16		t_infomask;
	uint8		frzflags;
} xl_heap_freeze_tuple;

 

XLOG_HEAP2_CLEANUP_INFO

备机使用的wal，具体作用没有研究明白，暂时留白。

 

XLOG_HEAP2_VISIBLE

更改某个数据page在VM文件中的映射位时，产生这个wal记录。

描述结构体

typedef struct xl_heap_visible
{
	TransactionId cutoff_xid;
	uint8		flags;
} xl_heap_visible;

cutoff_xid：最旧xid，备机使用

flags：设置的映射信息

#define VISIBILITYMAP_ALL_VISIBLE	0x01 //page内所有的tuple都可见
#define VISIBILITYMAP_ALL_FROZEN	0x02 //page内所有的tuple都frozen
#define VISIBILITYMAP_VALID_BITS	0x03 //ALL_VISIBLE + ALL_FROZEN

此wal类型中可能包含的数据

①xl_heap_visible结构体，一定存在，通过XLogRegisterData()注册

②修改的位所在的vm buff ,可能存在，通过XLogRegisterBuffer()注册

③修改的位所指定的heapbuff,可能存在，通过XLogRegisterBuffer()注册

 

XLOG_HEAP2_LOCK_UPDATED 

在锁定tuple时，如果当前元组有一个hot链，那么需要将hot链上的所有tuple都要进行锁定

对每一个hot链上的tuple进程锁定时，就会产生一个XLOG_HEAP2_LOCK_UPDATED 记录

描述结构体

typedef struct xl_heap_lock_updated
{
	TransactionId xmax;
	OffsetNumber offnum;
	uint8		infobits_set;
	uint8		flags;
} xl_heap_lock_updated;

xmax: 产生wal记录时的xmax

offnum: 被锁定tuple在page上的偏移量

infobits_set：infomask值

flags： 标志位

#define XLH_LOCK_ALL_FROZEN_CLEARED		0x01//VM文件相关

 

XLOG_HEAP2_NEW_CID        

wal级别是logical以上时，系统表的heap发生变化时，就会产生这个wal记录。

这个记录的意义不在于恢复数据库，而在于logigal decoding时分析系统表的变化而使用。

目前都logical decoding没有很了解，这个wal记录的解析，暂时留白。

 

 

回到概述页

转载于:https://my.oschina.net/lcc1990/blog/3002370