stOOrz---MVCC（3）--事务可见性

最新推荐文章于 2024-11-15 18:38:47 发布
最新推荐文章于 2024-11-15 18:38:47 发布
阅读量110 收藏
点赞数
分类专栏： open gauss 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_66594489/article/details/133874303
版权

引言

在上一篇博客MVCC(2)—快照中，我们了解了MVCC实现的关键点——快照。本篇我们将着力于——分析判断数据有效性、可见性、可更新性的算法的实现

在进行可见性判断时，需要获取事务的状态，即元组中 t_xmin 和 t_xmax 的状态，需要clog来记录事务的状态，从而判断其可见性，内存里的访问远远快于磁盘读写，因此opengauss的很多机制都是运行时候在内存，然后定期持久化到磁盘。因此clog也有一块内存区域便于高效访问，即clog buffers，它也属于共享内存的这部分，平时更新clog是内存中进行的，然后满足条件后会调用pg_fsync刷数据到磁盘上的clog文件，或者等待checkpoint刷数据。数据库启动时会从磁盘的pg_xact目录下读取事务状态加载到clog buffers，并且运行过程中，vacuum会定时将不再使用的clog文件清理

从可见性判断的过程，我们能够大致了解到需要实现哪些功能，对于笔者来说，就是可以了解到需要分析哪些函数，按照什么顺序分析这些函数。

本篇博客将会先学习相关概念过后，再对实现分析判断数据有效性、可见性、可更新性的算法的实现的主要函数中的一个—XidVisibleInSnapshot做详尽分析

一、事务隔离级别

我们对事务隔离级别做一个简单说明：SQL标准定义了脏写，脏读，不可重复读，幻读 在open gaus数据库的实现过程中，对隔离级别做了一些扩展。

表格如下

隔离级别P0：脏写P1：脏读P4:更新丢失P2：不可重复读3:幻读A5A:读偏斜A5B:写偏斜
读未提交不可能可能可能可能可能可能可能
读已提交不可能不可能可能可能可能可能可能
可重复读不可能不可能不可能不可能可能 不可能不可能
快照一致性读不可能不可能不可能不可能偶尔不可能可能
可串行化不可能不可能不可能不可能不可能不可能不可能

我们对新增的三种隔离级别：更新丢失，读偏斜，写偏斜做简单说明如下

更新丢失

一个事务在读取元组并更新该元组的过程中，有另一个事务修改了该元组的值，最终导致这次修改丢失。

读偏斜

  • 假设数据x,y有隐式约束，x-y<=50。

  • 事务一读取x=50

  • 事务二写x=0,y=-50保证了约束成立并提交

  • 事务一读y=-50，不满足约束

    写偏斜

  • 假设数据x,y有隐式约束，x-y<=50。

  • 事务一读取x=50，写入y=0

  • 事务二读y=10,写x=60保证了约束成立并提交

  • 事务一提交,x=60,y=0，不满足约束

    二、satisfies

  • satisfies 是 openGauss 提供的对于事务可见性判断的统一操作接口。*

    src/gausskernel/storage/access/heap/heapam_visibility.c

  • HeapTupleSatisfiesMVCC：判断元组对某一快照版本是否有效

  • HeapTupleSatisfiesUpdate：判断元组是否可更新

  • HeapTupleSatisfiesDirty：判断当前元组是否已脏

  • HeapTupleSatisfiesSelf：判断 tuple 对自身信息是否有效

  • HeapTupleSatisfiesToast：用于 TOAST 表（参考文档）的判断

  • HeapTupleSatisfiesVacuum：用在 VACUUM，判断某个元组是否对任何正在运行的事务可见，如果是，则该元组不能被 VACUUM 删除

  • HeapTupleSatisfiesAny：所有元组都可见

  • HeapTupleSatisfiesHistoricMVCC：用于 CATALOG 表 上述几个函数的参数都是 (HeapTuple htup, Snapshot snapshot, Buffer buffer)，其具体逻辑和判断条件，本文不展开具体讨论。 确定在给定快照的上下文中，是否可以看到特定的堆元组

  • 可见性判断的主调函数源码如下：*

     
  
    1. bool HeapTupleSatisfiesVisibility(HeapTuple tup, Snapshot snapshot, Buffer buffer)
    2. {
    3. switch (snapshot->satisfies) {
    4. case SNAPSHOT_MVCC:
    5. return HeapTupleSatisfiesMVCC(tup, snapshot, buffer);
    6. break;
    7. case SNAPSHOT_VERSION_MVCC:
    8. return HeapTupleSatisfiesVersionMVCC(tup, snapshot, buffer);
    9. break;
    10. case SNAPSHOT_DELTA:
    11. return HeapTupleSatisfiesDelta(tup, snapshot, buffer);
    12. break;
    13. case SNAPSHOT_LOST:
    14. return HeapTupleSatisfiesLost(tup, snapshot, buffer);
    15. break;
    16. case SNAPSHOT_NOW:
    17. return HeapTupleSatisfiesNow(tup, snapshot, buffer);
    18. break;
    19. #ifdef ENABLE_MULTIPLE_NODES
    20. case SNAPSHOT_NOW_NO_SYNC:
    21. return HeapTupleSatisfiesNow(tup, snapshot, buffer);
    22. break;
    23. #endif
    24. case SNAPSHOT_SELF:
    25. return HeapTupleSatisfiesSelf(tup, snapshot, buffer);
    26. break;
    27. case SNAPSHOT_ANY:
    28. return HeapTupleSatisfiesAny(tup, snapshot, buffer);
    29. break;
    30. case SNAPSHOT_TOAST:
    31. return HeapTupleSatisfiesToast(tup, snapshot, buffer);
    32. break;
    33. case SNAPSHOT_DIRTY:
    34. return HeapTupleSatisfiesDirty(tup, snapshot, buffer);
    35. break;
    36. case SNAPSHOT_HISTORIC_MVCC:
    37. return HeapTupleSatisfiesHistoricMVCC(tup, snapshot, buffer);
    38. break;
    39. case SNAPSHOT_DECODE_MVCC:
    40. return HeapTupleSatisfiesDecodeMVCC(tup, snapshot, buffer);
    41. break;
    42. }
    44. return false; 
    45. }
  •  
    这段代码定义了一个函数HeapTupleSatisfiesVisibility，它接收三个参数：一个堆元组tup，一个快照snapshot，和一个缓冲区buffer。这个函数的目的是检查给定的堆元组是否满足时间限定符。
     
  •  
    函数的主要逻辑是一个switch语句，它根据快照的satisfies属性的值来调用不同的函数。每个函数都接收相同的参数（即tup，snapshot和buffer），并返回一个布尔值，表示堆元组是否满足特定类型的快照。
     
  •  
    例如，如果satisfies属性的值为SNAPSHOT_MVCC，那么就会调用函数HeapTupleSatisfiesMVCC。如果satisfies属性的值为SNAPSHOT_VERSION_MVCC，那么就会调用函数HeapTupleSatisfiesVersionMVCC。以此类推。
     
  •  
    如果satisfies属性的值不匹配任何预定义的值，那么函数将返回false。
     
  •  
    这个函数用于在数据库系统中检查某个堆元组是否满足给定快照的时间限定符，以便进行相应的处理。
     
  •  
    下面我们分析可见性判断的主要实现函数*
     
 

三、XidVisibleInSnapshot函数分析
 

Function name:XidVisibleInSnapshot
 

完整源码以及注释如下
 

 

  1. /*
  2. * XidVisibleInSnapshot
  3. * This code is a function named XidVisibleInSnapshot, which accepts five parameters: TransactionId xid, Snapshot snapshot,
  4. * TransactionIdStatus* hintstatus, Buffer buffer, and bool* sync
  5. * The main purpose of this function is to check whether a transaction ID (xid) is visible in a given snapshot (snapshot). 
  6. * It does this by obtaining the commit sequence number (csn) of the transaction ID and comparing it with the commit sequence number of the snapshot.
  7. *
  8. */
  9. bool XidVisibleInSnapshot(TransactionId xid, Snapshot snapshot, TransactionIdStatus* hintstatus, Buffer buffer, bool* sync)
  10. {
  11. volatile CommitSeqNo csn;
  12. bool looped = false;
  13. TransactionId parentXid = InvalidTransactionId;
  15. *hintstatus = XID_INPROGRESS;
  17. #ifdef XIDVIS_DEBUG
  18. ereport(DEBUG1,
  19. (errmsg("XidVisibleInSnapshot xid %ld cur_xid %ld snapshot csn %lu xmax %ld",
  20. xid,
  21. GetCurrentTransactionIdIfAny(),
  22. snapshot->snapshotcsn,
  23. snapshot->xmax)));
  24. #endif
  26. loop:
  27. csn = TransactionIdGetCommitSeqNo(xid, false, true, false, snapshot);
  28. //fetch CSN of specified transaction id
  30. #ifdef XIDVIS_DEBUG
  31. ereport(DEBUG1,
  32. (errmsg("XidVisibleInSnapshot xid %ld cur_xid %ld csn %ld snapshot"
  33. "csn %ld xmax %ld",
  34. xid,
  35. GetCurrentTransactionIdIfAny(),
  36. csn,
  37. snapshot->snapshotcsn,
  38. snapshot->xmax)));
  39. #endif
  41. if (COMMITSEQNO_IS_COMMITTED(csn)) {
  42. *hintstatus = XID_COMMITTED;
  43. if (csn < snapshot->snapshotcsn)
  44. return true;
  45. else
  46. return false;
  47. //if the commit sequence number has been committed,
  48. //and is less than the commit sequence number of the sanpshot,
  49. //then the function return true ,else return false
  50. } else if (COMMITSEQNO_IS_COMMITTING(csn)) {
  51. //if the commit sequece number is committing,
  52. //the function performs some additonal checks and operations
  53. //including :synchronously waiting for the transaction to end
  54. if (looped) {
  55. ereport(DEBUG1, (errmsg("transaction id %lu's csn %ld is changed to ABORT after lockwait.", xid, csn)));
  56. /*
  57. * If a loop has already been performed (looped is true), 
  58. * then the function reports that the csn of the transaction ID has been changed to ABORT 
  59. * after waiting for a lock. Then, it rechecks whether the transaction ID has finished, 
  60. * sets the csn of the transaction ID to ABORTED, updates the latest fetch state of the transaction ID to ABORTED, 
  61. * sets hintstatus to XID_ABORTED, and returns false (false).
  62. */
  63. RecheckXidFinish(xid, csn);
  64. CSNLogSetCommitSeqNo(xid, 0, NULL, COMMITSEQNO_ABORTED);
  65. SetLatestFetchState(xid, COMMITSEQNO_ABORTED);
  66. *hintstatus = XID_ABORTED;
  67. return false;
  68. } else {
  69. if (!COMMITSEQNO_IS_SUBTRANS(csn)) {
  70. /* If snapshotcsn lower than csn stored in csn log, don't need to wait. */
  71. CommitSeqNo latestCSN = GET_COMMITSEQNO(csn);
  72. if (latestCSN >= snapshot->snapshotcsn) {
  73. ereport(DEBUG1,
  74. (errmsg(
  75. "snapshotcsn %lu lower than csn %lu stored in csn log, don't need to sync wait, trx id %lu",
  76. snapshot->snapshotcsn,
  77. csn,
  78. xid)));
  79. return false;
  80. }
  81. } else {
  82. parentXid = (TransactionId)GET_PARENTXID(csn);
  83. }
  85. if (u_sess->attr.attr_common.xc_maintenance_mode || t_thrd.xact_cxt.bInAbortTransaction) {
  86. return false;
  87. }
  88. /* Then, if it is currently in maintenance mode or in the process of aborting a transaction, then the function returns false */
  89. /* Wait for txn end and check again. */
  90. if (sync != NULL) {
  91. *sync = true;
  92. }
  93. if (TransactionIdIsValid(parentXid))
  94. SyncWaitXidEnd(parentXid, buffer);
  95. else
  96. SyncWaitXidEnd(xid, buffer);
  97. looped = true;
  98. parentXid = InvalidTransactionId;
  99. goto loop;
  100. }
  101. } else {
  102. if (csn == COMMITSEQNO_ABORTED)
  103. *hintstatus = XID_ABORTED;
  105. return false;
  106. }
  107. }
 

这段代码用于检查一个事务 ID 是否在一个快照中可见。
 

代码的主要逻辑如下：
 

  • 首先，使用 TransactionIdGetCommitSeqNo 函数获取事务 ID 的提交序号（csn），这是一个表示事务状态的值。
  • 如果 csn 是 COMMITSEQNO_IS_COMMITTED，表示事务已经提交，那么根据 csn 和快照的 csn 比较，返回 true 或 false。
  • 如果 csn 是 COMMITSEQNO_IS_COMMITTING，表示事务正在提交，那么需要同步等待事务结束。
  • 如果 csn 是 COMMITSEQNO_IS_SUBTRANS，表示事务是一个子事务，那么需要获取其父事务 ID（parentXid）。
  • 如果已经循环过一次，表示发生了异常，那么需要重新检查事务状态，并将 csn 设置为 COMMITSEQNO_ABORTED。
  • 否则，使用 SyncWaitXidEnd 函数等待事务或其父事务结束，并重新获取 csn。
  • 如果 csn 是其他值，表示事务未提交或已中止，那么返回 false。
 

 

 

四、小结
 

本次博客学习了open gauss数据库建立过程中相对于SQL标准新增的事务隔离级别，对于可见性判断的接口做了简单学习，了解其分别对哪些情况进行了函数调用。分析了XidVisibleInSnapshot 函数的结构，这个函数对于快照的可见性有着至关重要的作用。HeapTupleSatisfiesMVCC函数的详细分析，我们留在下一篇博客展开叙述。 下一篇博客MVCC(4)-可见性判断

                

        

        

    

  


    

      

        

            

              
                
                  GoooHaaa
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
MySQL学习笔记-MVCC数据多版可见性

				
			

			

				

					qq_38937634的博客
				

				

					02-02
					
					946
					
				

			

		

		

			
				
文章目录MySQL学习笔记-MVCC数据多版可见性1.笔记图2.事务的执行流程3.两个视图概念4.MVCC 工作原理5.当前读6.查询数据可见性规则
MySQL学习笔记-MVCC数据多版可见性
InnoDB 最大的特点之一就是支持事务，而不同时刻启动的事务对于其他事务来说，可见性不一样，比如可重复读隔离级别下，启动一个事务，查询数据之后会创建一个一致性视图，该事务提交之前的查询都将依赖于这个一致性视图，就好像给所有数据 拍了一个快照 一样，这篇文章就学习一下 MVCC 数据的多版本并发控制是如何实现秒级快照

			
		

	



                

            
              



	

		

			

				
					
mvcc-rust:在 Rust 中试验 MVCC

				
			

			

				

					07-08
				

			

		

		

			
				
“mvcc-rust”是一个项目，它在Rust编程语言中实现了一种多版本并发控制（Multi-Version Concurrency Control, MVCC）机制。MVCC是一种数据库管理系统中常用的并发控制技术，用于在读写操作并行时保持数据的一致性。...

			
		

	



              


  
              

                


	

		

			

				
					
MVCC中的可见性算法

				
			

			

				

					Eucalyptus's blog
				

				

					11-07
					
					675
					
				

			

		

		

			
				
（1）.如果m_ids包含trx_id,则代表Read View生成时刻，这个事务还未提交，但是如果数据的trx_id等于creator_trx_id的话，表明数据是自己生成的，因此是。（2）如果m_ids包含trx_id，并且trx_id不等于creator_trx_id，则Read View生成时，事务未提交，并且不是自己生产的，所以当前事务也是。（3）.如果m_ids不包含trx_id，则说明你这个事务在Read View生成之前就已经提交了，修改的结果，当前事务是能看见的。

			
		

	





	

		

			

				
					
MVCC（4）--事务可见性

				
			

			

				

					m0_66594489的博客
				

				

					10-16
					
					207
					
				

			

		

		

			
				
例如，检查元组是否在扫描开始后被插入或删除，检查元组的xmax是否是一个多事务ID，检查元组的xmax是否是当前事务的ID等等。这些步骤大体上是对元组进行一系列复杂的并发控制和事务隔离检查，并根据检查结果进行相应的处理。如果元组的xmin在给定的快照中不可见，那么进入下面的代码块，在这个代码块中，会进行一些更复杂的检查和处理。判断是否当前的快照不是一个多版本并发控制(MVCC)的快照，并且元组的xmin是当前事务的ID。（也就是该元组被插入或更新的事务ID）在给定的快照中是否可见，并将结果存储在。

			
		

	



		

			
		



	

		

			

				
					
PostgreSQL通过索引获取heap tuple解析

				
			

			

				

					帅的数说
				

				

					02-23
					
					1243
					
				

			

		

		

			
				
本文介绍通过索引扫描获取heap tuple的TID后，如何通过TID获取heap tuple。一、先介绍两个数据结构关系二、接着介绍获取记录流程1、通过索引扫描后，得到索引记录(key...

			
		

	





	

		

			

				
					
postgres 源码解析 35 -- 可见性判断加速heapgetpage

				
			

			

				

					Serendipity_Shy
				

				

					11-19
					
					642
					
				

			

		

		

			
				
postgres 源码解析 35 -- 可见性判断加速heapgetpage

			
		

	





	

		

			

				
					
H2Database-MVCC:测试M2数据库的MVCC特性和JPAHibernate的并发管理

				
			

			

				

					05-29
				

			

		

		

			
				
 MVCC模式的局限性是：配合PageStore存储引擎，不能与MULTI_THREADED=TRUE同时使用； 使用多版本并发时，完整的撤消日志（未提交的更改列表）必须适合内存。 设置 MAX_MEMORY_UNDO 无效。 集群/高可用性 -- [ ]

			
		

	





	

		

			

				
					
MVCC-(Oracle-Innodb-Postgres)PPT课件.pptx

				
			

			

				

					11-23
				

			

		

		

			
				
3. 可见性判断：Oracle的可见性判断是基于CR Block（一致读）的SCN小于查询SCN。 4. 数据块结构：Oracle的数据块结构包括fixed部分和variable部分。Fixed部分包括rdba、scn和seq，variable部分包括ITLs（Interested ...

			
		

	





	

		

			

				
					
MVCC及实现原理

					
热门推荐

				
			

			

				

					GSON的博客
				

				

					10-15
					
					1万+
					
				

			

		

		

			
				
！首先声明，MySQL 的测试环境是 5.7

前提概要

	什么是 MVCC
		什么是当前读和快照读？
		当前读，快照读和 MVCC 的关系
	
	MVCC 实现原理
	隐式字段
		undo日志
		Read View
		整体流程
	
	MVCC 相关问题
	RR 是如何在 RC 级的基础上解决不可重复读的？
		RC, RR 级别下的 InnoDB 快照读有什么不同？
	
一、前提概要

1、什么是 MVCC ?

MVCCMVCC，全称Multi-Version Concurrency Co.

			
		

	





	

		

			

				
					
openGauss事务机制中MVCC技术的实现分析

				
			

			

				

					luooofan的博客
				

				

					11-27
					
					849
					
				

			

		

		

			
				
概述
事务
事务是为用户提供的最核心、最具吸引力的数据库功能之一。简单地说,事务是用户定义的一系列数据库操作(如查询、插入、修改或删除等)的集合，从数据库内部保证了该操作集合作为一个整体的原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability)，这些特性统称事务的ACID特性。
DBMS中的并发控制
并发控制旨在针对数据库中对事务并行的场景，保证 ACID 中的一致性（Consistency）与隔离性（Isolation）。数据库技术中主流

			
		

	





	

		

			

				
					
PostgreSQL数据库并发事务——RecordTransactionCommit

				
			

			

				

					肥叔菌的博客
				

				

					10-27
					
					446
					
				

			

		

		

			
				
/*	RecordTransactionCommit
 * Returns latest XID among xact and its children, or InvalidTransactionId if the xact has no XID.  (We compute that here just because it's easier.)
 * If you change this function, see RecordTransactionCommitPrepared also. */
sta

			
		

	





	

		

			

				
					
PostgreSQL 源码解读（118）- MVCC#3(Tuple可见性判断)

				
			

			

				

					
				

				

					01-15
					
					539
					
				

			

		

		

			
				
本节介绍了PostgreSQL判断元组可见性的实现逻辑,重点解析了HeapTupleSatisfiesMVCC函数的处理过程。



...

			
		

	





	

		

			

				
					
Greenplum保证数据隔离的“秘密武器”：快照

				
			

			

				

					Greenplum中文社区
				

				

					11-26
					
					434
					
				

			

		

		

			
				
...

			
		

	





	

		

			

				
					
postgres源码解析32 快照可见性判断HeapTupleSatisfiesMVCC

				
			

			

				

					Serendipity_Shy
				

				

					10-22
					
					377
					
				

			

		

		

			
				
postgres源码快照可见性判断HeapTupleSatisfiesMVCC

			
		

	





	

		

			

				
					
14 MVCC的可见性

				
			

			

				

					tz_sz的专栏
				

				

					02-19
					
					1816
					
				

			

		

		

			
				
转自http://hedengcheng.com/?p=148 何登成
一、准备
create table test (id int primary key, comment char(50)) engine=innodb;
create index test_idx on test(comment);
insert into test values (1, ‘aaa’);
insert

			
		

	





	

		

			

				
					
PostgreSQL 源码解读（134）- MVCC#18（vacuum过程-HeapTupleSatisfiesVacuum函数）

				
			

			

				

					
				

				

					02-01
					
					444
					
				

			

		

		

			
				
本节简单介绍了PostgreSQL手工执行vacuum的处理流程,主要分析了ExecVacuum->vacuum->vacuum_...

			
		

	





	

		

			

				
					
Mybatis

					
最新发布

				
			

			

				

					庸不易的博客
				

				

					11-15
					
					785
					
				

			

		

		

			
				
1、定义不同：#{} 预处理：而 ${} 是直接替换2、使用不同：#{} 适用于所有类型的参数匹配；但 ${} 只适用于数值类型。3、安全性不同：#{} 性能高，并且没有安全问题；但 $ {} 存在 SQL 注入的安全问题。4、使用场景不同：当传递的是一个 SQL 关键字 的时候，只能 使用 ${}。当传递的是一个字段，总之，就是需要获取到参数类型 与 内容，只能使用 #{}。（PS：数字类型，#{} 和 ${} 都是可以使用的！5、 ${} 不能用于 模糊匹配查询；

			
		

	





	

		

			

				
					
MySQL 8.0特性-自增变量的持久化

				
			

			

				

					myneth的博客
				

				

					11-13
					
					515
					
				

			

		

		

			
				
在MySQL 8.0之前，自增主键AUTO_INCREMENT的值如果大于max(primary key)+1，在MySQL重启后，会重置AUTO_INCREMENT=max(primary key)+1，这种现象在某些情况下会导致业务主键冲突或者其他难以发现的问题。下面通过案例来对比不同的版本中自增变量是否持久化。

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值