浅谈MySQL 数据库中InnoDB存储引擎的 MVCC机制 实现的基本原理

最新推荐文章于 2022-09-23 16:33:48 发布
最新推荐文章于 2022-09-23 16:33:48 发布
阅读量694 收藏 4
点赞数 5
分类专栏： 数据库 文章标签： mysql MVCC read view
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JMW1407/article/details/107872395
版权
本文深入解析MVCC（多版本并发控制）机制，探讨其在并发事务处理中的作用，避免更新丢失、脏读、不可重复读及幻读等问题。介绍MVCC在InnoDB引擎中的实现，包括事务版本号、隐藏列、回滚日志及可读视图等关键概念。
摘要由CSDN通过智能技术生成

MVCC 机制

MVCC 机制(Multiversion Concurrency Control)

1、背景

InnoDB 相比 MyISAM 有两大特点，一是支持事务而是支持行级锁，事务的引入带来了一些新的挑战。相对于串行处理来说，并发事务处理能大大增加数据库资源的利用率，提高数据库系统的事务吞吐量，从而可以支持可以支持更多的用户。但并发事务处理也会带来一些问题，主要包括以下几种情况：

  • 1、更新丢失（Lost Update）：当两个或多个事务选择同一行，然后基于最初选定的值更新该行时，由于每个事务都不知道其他事务的存在，就会发生丢失更新问题 ——最后的更新覆盖了其他事务所做的更新。如何避免这个问题呢，最好在一个事务对数据进行更改但还未提交时，其他事务不能访问修改同一个数据。
  • 2、脏读（Dirty Reads）：一个事务正在对一条记录做修改，在这个事务并提交前，这条记录的数据就处于不一致状态；这时，另一个事务也来读取同一条记录，如果不加控制，第二个事务读取了这些尚未提交的脏数据，并据此做进一步的处理，就会产生未提交的数据依赖关系。
  • 3、不可重复读（Non-Repeatable Reads）：在事务A中先后两次读取同一个数据，但是两次读取的结果不一样。脏读与不可重复读的区别在于：前者读到的是其他事务未提交的数据，后者读到的是其他事务已提交的数据。
  • 4、幻读（Phantom Reads）：在事务A中按照某个条件先后两次查询数据库，两次查询结果的行数不同，这种现象称为幻读。不可重复读与幻读的区别可以通俗的理解为：前者是数据变了，后者是数据的行数变了。

以上是并发事务过程中会存在的问题，解决更新丢失可以交给应用，但是后三者需要数据库提供事务间的隔离机制来解决。实现隔离机制的方法主要有两种：

  • 加读写锁
  • 一致性快照读，即 MVCC

2、定义和特征

定义
MVCC (Multiversion Concurrency Control) 叫多版本并发控制，是在并发访问数据库时，通过对数据做多版本管理，避免因为写锁的阻塞而造成读数据的并发阻塞问题。（MVCC 是无锁操作的一种实现方式）

通俗的讲就是MVCC通过保存数据的历史版本，根据比较版本号来处理数据的是否显示，从而达到读取数据的时候不需要加锁就可以保证事务隔离性的效果

特征

  • 1、MySQL 中 InnoDB 引擎支持 MVCC
  • 2、应对高并发事务, MVCC 比单纯的加行锁更有效, 开销更小
  • 3、MVCC 在读已提交（Read Committed）和可重复读（Repeatable Read）隔离级别下起作用
  • 4、MVCC 既可以基于乐观锁又可以基于悲观锁来实现

3、实现原理

MVCC实现的核心知识点

  • 1、事务版本号
    • 每次事务开启前都会从数据库获得一个自增长的事务ID，可以从事务ID判断事务的执行先后顺序。
  • 2、表的隐藏列
  • 3、undo log (回滚日志)
  • 4、 read view（可读视图）

3.1、表格的隐藏列

在这里插入图片描述

  • 1、DB_TRX_ID: 记录操作该数据事务的事务ID，大小为 6 个字节；

  • 2、DB_ROLL_PTR：指向上一个版本数据在undo log 里的位置指针，大小为 7 个字节；（在下一节具体说明如何组织 undo Log 链）

  • 3、DB_ROW_ID:行标识（隐藏单调自增 ID），大小为 6 字节，如果表没有主键，InnoDB 会自动生成一个隐藏主键，因此会出现这个列。每条记录的头信息（record header）里都有一个专门的bit（deleted_flag）来表示当前记录是否已经被删除。

3.2、undo log(回滚日志)

  • 1、undo log：实现原子性的关键，是当事务回滚时能够撤销所有已经成功执行的sql语句。
    • 当事务对数据库进行修改时，InnoDB会生成对应的undo log；如果事务执行失败或调用了rollback，导致事务需要回滚，便可以利用undo log中的信息将数据回滚到修改之前的样子。
  • 2、undo log：属于逻辑日志，它记录的是sql执行相关的信息。当发生回滚时，InnoDB会根据undo
    log的内容做与之前相反的工作：
    • 对于每个insert，回滚时会执行delete；
    • 对于每个delete，回滚时会执行insert；
    • 对于每个update，回滚时会执行一个相反的update，把数据改回去。

以update操作为例：当事务执行update时，其生成的undo log中会包含被修改行的主键(以便知道修改了哪些行)、修改了哪些列、这些列在修改前后的值等信息，回滚时便可以使用这些信息将数据还原到update之前的状态。

实例：
在这里插入图片描述

3.2.1、如何组织 undo log 链表

模拟一次数据修改的过程来了解下事务版本号、表格隐藏的列和undo log他们之间的使用关系。

（1）首先准备一张原始原始数据表

IDNameDB_TRX_IDDB_ROLL_PTR
1zhnagsan1030xxxxxxx

（2）开启一个事务A： 对user_info表执行 update user_info set name =“李四”where id=1 会进行如下流程操作

start transaction;
update user_info set name =“lisi” where id=1
commit;
  • 1、对 DB_ROW_ID = 103 的这行记录加排他锁
  • 2、把user_info表修改前的数据拷贝到undo log ，DB_TRX_ID 和 DB_ROLL_PTR 都不动
  • 3、修改user_info表 id=1的数据，这时产生一个新版本，更新 DATA_TRX_ID 为修改记录的事务 ID（104），将 DATA_ROLL_PTR 指向刚刚拷贝到 undo log 链中的旧版本记录，这样就能通过 DB_ROLL_PTR 找到这条记录的历史版本。
    • 如果对同一行记录执行连续的 UPDATE，Undo Log 会组成一个链表，遍历这个链表可以看到这条记录的变迁
  • 4、记录 redo log，包括 undo log 中的修改

在这里插入图片描述
那么 INSERT 和 DELETE 会怎么做呢？

  • INSERT 会产生一条新纪录，它的 DATA_TRX_ID 为当前插入记录的事务 ID；
  • DELETE 某条记录时可看成是一种特殊的 UPDATE，其实是软删，真正执行删除操作会在 commit 时，DATA_TRX_ID则记录下删除该记录的事务 ID。

3.3、read view（可读视图）

3.3.1、如何实现一致性读 —— ReadView
  • 在 RU 隔离级别（读未提交）下，直接读取版本的最新记录就 OK，对于 SERIALIZABLE 隔离级别，则是通过加锁互斥来访问数据，因此不需要MVCC 的帮助。
  • MVCC 运行在 RC（读已提交） 和 RR（可重复读） 这两个隔离级别下，当 InnoDB 隔离级别设置为二者其一时，在 SELECT 数据时就会用到版本链

核心问题是版本链中哪些版本对当前事务可见？

InnoDB 为了解决这个问题，设计了 readview（可读视图）的概念。在InnoDB中每个SQL语句执行前都会得到一个readview。副本主要保存了当前数据库系统中正处于活跃（没有commit）的事务的ID号，其实简单的说这个副本中保存的是系统中当前不应该被本事务看到的其他事务id列表。

3.3.2、Read view 的重要参数
  • 1、trx_ids: 当前系统活跃(未提交)事务版本号集合。
  • 2、low_limit_id: 创建当前read view 时“当前系统最大事务版本号+1”。
  • 3、up_limit_id: 创建当前read view 时“系统正处于活跃事务最小版本号”
  • 4、creator_trx_id: 创建当前read view的事务版本号；
3.3.3、Read view 匹配条件（事务可见范围）

  • （1）数据事务ID <up_limit_id 则显示
    如果数据事务ID小于read view中的最小活跃事务ID，则可以肯定该数据是在当前事务启之前就已经存在了的,所以可以显示。

  • （2）数据事务ID>=low_limit_id 则不显示
    如果数据事务ID大于read view 中的当前系统的最大事务ID，则说明该数据是在当前read view 创建之后才产生的，所以数据不予显示。

  • （3） up_limit_id <数据事务ID<low_limit_id 则与活跃事务集合trx_ids里匹配
    如果数据的事务ID大于最小的活跃事务ID,同时又小于等于系统最大的事务ID，这种情况就说明这个数据有可能是在当前事务开始的时候还没有提交的。所以这时候我们需要把数据的事务ID与当前read view 中的活跃事务集合trx_ids 匹配:

    • 情况1: 如果事务ID不存在于trx_ids 集合（则说明read view产生的时候事务已经commit了），这种情况数据则可以显示。
    • 情况2： 如果事务ID存在trx_ids则说明read view产生的时候数据还没有提交，但是如果数据的事务ID等于creator_trx_id，那么说明这个数据就是当前事务自己生成的，自己生成的数据自己当然能看见，所以这种情况下此数据也是可以显示的。
    • 情况3： 如果事务ID既存在trx_ids而且又不等于creator_trx_id那就说明read view产生的时候数据还没有提交，又不是自己生成的，所以这种情况下此数据不能显示。

  • （4）不满足read view条件时候，从undo log里面获取数据
    当数据的事务ID不满足read view条件时候，从undo log里面获取数据的历史版本，然后数据历史版本事务号回头再来和read view 条件匹配 ，直到找到一条满足条件的历史数据，或者找不到则返回空结果；

3.4、模拟MVCC实现流程

在这里插入图片描述

下面我们通过开启两个同时进行的事务来模拟MVCC的工作流程。

（1）创建user_info表，插入一条初始化数据
在这里插入图片描述
（2）事务A和事务B同时对user_info进行修改和查询操作

事务A：update user_info set name =”李四”

事务B：select * fom user_info where id=1

问题： 先开启事务A ，在事务A修改数据后但未进行commit，此时执行事B。最后返回结果如何。

执行流程如下图：
在这里插入图片描述

执行流程说明：

  • （1）事务A：开启事务，首先得到一个事务编号102；

  • （2）事务B：开启事务，得到事务编号103；

  • （3）事务A：进行修改操作，首先把原数据拷贝到undolog,然后对数据进行修改，标记事务编号和上一个数据版本在undo log的地址。
    在这里插入图片描述

  • （4）事务B： 此时事务B获得一个read view ，read view对应的值如下
    在这里插入图片描述

  • （5）事务B： 执行查询语句，此时得到的是事务A修改后的数据
    在这里插入图片描述

  • （6）事务B： 把数据与read view进行匹配，

    • 1、数据事务ID为102 大于up_limit_id
    • 2、数据事务ID为102 小于low_limit_id
    • 3、数据事务ID为102存在于 trx_ids，
    • 4、数据事务ID为102不等于creator_trx_id

发现不满足read view显示条件，所以从undo lo获取历史版本的数据再和read view进行匹配，最后返回数据如下。
在这里插入图片描述

3.5、各种事务隔离级别下的Read view 工作方式

3.5.1、READ_UNCOMMITTED（读未提交）
  • 该隔离级别不会使用 MVCC。它只要执行 select，那么就会获取 B+ 树上最新的记录。而不管该记录的事务是否已经提交。
  • 不会获取read view 副本。
3.5.2、READ COMMITTED（读已提交）

在 READ COMMITTED 隔离级别下，会使用 MVCC。在开启一个读取事务之后，它会在每一个 select 操作之前都生成一个 Read View。
在这里插入图片描述

3.5.3、REPEATABLE READ（可重复读）

REPEATABLE READ 与 READ COMMITTED 的区别只有在生成 Read View 的时机上。

  • READ COMMITTED 是在每次执行 select 操作时，都会生成一个新的 Read View。
  • REPEATABLE READ 只会在第一次执行 select 操作时生成一个 Read View，直到该事务提交之前，所有的select 操作都是使用第一次生成的 Read View。
    在这里插入图片描述

RR(重复读)级别下的一个事务里只会获取一次read view副本，从而保证每次查询的数据都是一样的。
具体更详细说明：请参考

3.5.4、SERIALIZABLE（串行化读）

该隔离级别不会使用 MVCC。如果使用的是普通的 select 语句，它会在该语句后面加上 lock in share mode，变为一致性锁定读。假设一个事务读取一条记录，其他事务对该记录的更改都会被阻塞。

  • 在该隔离级别下，读写操作变为了串行操作。

参考

1、https://zhuanlan.zhihu.com/p/52977862
2、https://zhuanlan.zhihu.com/p/64576887
3、https://zhuanlan.zhihu.com/p/149640067
4、https://baijiahao.baidu.com/s?id=1629409989970483292&wfr=spider&for=pc
5、https://zhuanlan.zhihu.com/p/115912936

JMW1407
关注
专栏目录
InnoDB存储引擎MVCC实现原理
工作总结博客
03-24 711
简单背景介绍 MySQL MySQL是现在最流行的关系型数据库（RDB）的选择，为了应用程序提供可靠性数据存储，事务等功能。近些年来也成为了互联网公司的首选。在5.5版本后，默认使用InnoDB存储引擎。 MySQL架构 顶层是接入层，为不同语言实现接入，接入层负责权限校验，线程池管理，线程管理。接下来是MySQL服务层，有SQL解析器，SQL优化器，数据缓冲，缓存。再接下来是存储引擎。最后是系统...
MySQL原理，看这一篇就够了（InnoDB、MVCC、索引、SQL优化）
尼尧Nier的博客
07-28 3640
对于一位后端开发者，或者说Java后端开发者，每天都需要和数据库打交道，而我们常常接触的MySQL原理，你是否了解过呢？本文将对MySQL的一些原理进行描述，希望能帮助大家了解数据库。 注：本文中对于数据库的介绍以及研究都是在 MySQL 上进行的，如果涉及到了其他数据库的内容或者实现会在文中单独指出。 非完全原创，大部分内容引自他人博客。 MySQL原理，看这一篇就够了（InnoDB、索引、SQL优化）一、数据库的概念数据库的定义数据库和实例二、MySQLMySQL 的架构SQL的执行过程MySQ
window.open 实现session隔离_InnoDB存储引擎MVCC实现原理
weixin_39962285的博客
11-20 173
简单背景介绍MySQLMySQL是现在最流行的关系型数据库(RDB)的选择, 创建一个应用时，无论是用户数据还是订单数据，使用关系型数据库存储是最可靠稳定的选择，借助RDB提供的可靠性、事务等功能，为应用提供完善的支持。MySQL是开源软件，可以免费使用，MySQL在发展多年后越来越成熟，成为大部分公司的数据库首选。MySQL采用插件式的存储引擎架构，5.5版本后默认使用InnoDB存储引擎。My...
MySQL数据库InnoDB存储引擎多版本控制(MVCC)实现原理分析
liaoyuanzi的专栏
10-11 1132
导读：   来自网易研究院的MySQL内核技术研究人何登成，把MySQL数据库InnoDB存储引擎的多版本控制（简称：MVCC）实现原理，做了深入的研究与详细的文字图表分析，方便大家理解InnoDB存储引擎实现的多版本控制技术（简称：MVCC）。 基本知识 假设对于多版本控制(MVCC)的基础知识，有所了解。MySQL数据库InnoDB存储引擎为了实现多版本的一致性读，采用的是基
【mysql】关于innodb中MVCC的一些理解
weixin_34376986的博客
12-25 355
一、MVCC简介 MVCC (Multiversion Concurrency Control)，即多版本并发控制技术,它使得大部分支持行锁的事务引擎，不再单纯的使用行锁来进行数据库的并发控制，取而代之的是把数据库的行锁与行的多个版本结合起来，只需要很小的开销,就可以实现非锁定读，从而大大提高数据库系统的并发性能 读锁：也叫共享锁、S锁，若事务T对数据对象A加上S锁，则事务T可以读A但不能修改...
浅谈选择mysql存储引擎的标准
12-16
MySQL数据库支持多种存储引擎，每种引擎都有其特定的优势和适用场景。在选择存储引擎时，需要根据实际应用的需求来决定。以下是对几种主要存储引擎的详细介绍和对比： 1. **InnoDB存储引擎** - InnoDB是MySQL的...
浅谈MySQL 统计行数的 count
12-14
这是因为InnoDB为了支持事务处理和MVCC（多版本并发控制）机制，无法像MyISAM那样直接存储表的总行数。 MyISAM引擎在每个表中维护了一个计数器，因此`count(*)`操作非常高效，无论是无条件还是带有`where`条件的...
浅谈InnoDB隔离模式的使用对MySQL性能造成的影响
09-10
在MySQL的InnoDB存储引擎中，事务隔离模式是数据库并发控制的重要组成部分，它对系统性能有着显著的影响。本文将深入探讨四种不同的隔离级别——READ UNCOMMITTED、READ COMMITTED、REPEATABLE READ和SERIALIZABLE，...
MySQL InnoDB的MVCC实现机制
qq1353424111的博客
09-23 369
MVCC，全称Multi-Version Concurrency Control，即多版本并发控制。MVCC是一种并发控制的方法，一般在数据库管理系统中，实现对数据库的并发访问，在编程语言中实现事务内存。mvcc - @百度百科MVCC在MySQL InnoDB中的实现主要是为了提高数据库并发性能，用更好的方式去处理读-写冲突，做到即使有读写冲突时，也能做到不加锁，非阻塞并发读在学习MVCC多版本并发控制之前，我们必须先了解一下，什么是MySQL InnoDB下的当前读和快照读?当前读。
InnoDB存储引擎对MVCC的实现
qq_34222160的博客
05-02 444
热衷学习，热衷生活！😄 沉淀、分享、成长，让自己和他人都能有所收获！😄 一、一致性非锁定读 对于一致性非锁定度的实现，通常的方式是加一个版本号或者时间戳，在更新数据的时候版本号+1或者更新时间戳。查询时，将当前可见的版本号与对应记录的版本号做对比，如果记录的版本号小于可见版本，则表示该记录可见。 在InnoDB存储引擎中，多版本控制就是对一致性非锁定读的实现。如果读取的行正在执行delete或者update操作，这时候读取操作不会去等待行释放锁，而是会去读取行的一个快照数据，对于这种读取历史数据的方式，.
Innodb MVCC实现原理
qiuyepiaoling的专栏
12-23 683
原文:https://zhuanlan.zhihu.com/p/52977862 理解MVCC之前，我们需要回顾了解一下数据库的一些其他相关知识点 （1）数据库为什么要有事务？ 为了保证数据最终的一致性。 （2）事务包括哪几个特性？ 原子性、隔离性、一致性、持久性。 参考：事务的ACID特性：https://zhuanlan.zhihu.com/p/27789602 （3）事务的并发引起了哪些问题？ 事务并发会引起脏读、重复读、幻读问题。 （4）怎么解决事务并发出现...
select 存储过程_MySQL学习（五）：Innodb存储引擎锁与MVCC机制的实现原理
weixin_39612554的博客
12-14 107
概述锁的主要作用是在并发访问时，锁住所操作的数据表，数据页或者数据行，MySQL中不同的存储引擎存在差异，从而避免多个客户端对同一个数据进行操作，导致数据不一致现象的发生。锁根据是否需要对数据修改分为共享锁和排它锁，分记为S锁和X锁，其中S锁与S锁是共享的，S锁与X锁是互斥的，X锁与X锁也是互斥的，即数据读取SELECT操作使用共享锁，数据更新相关操作使用互斥锁。在MySQL当中，myisam存储...
MySQL 事务与InnoDB的MVCC实现机制
若明天不见
08-12 348
本文主要介绍总结了MySQL事务与InnoDB的MVCC实现机制。MVCC全称Multi-Version Concurrency Control，即多版本并发控制。MVCC是为MySQL并发场景下无锁生成读视图进行读操作来进行多版本控制。MySQL中InnoDB中实现了事务（MVCC+锁），其中通过MVCC解决隔离性问题。具体而言，MVCC就是为了实现读-写冲突不加锁。.........
InnoDB存储引擎——MVCC机制
MuskMelon
01-28 248
what：什么是MVCC，用来解决什么问题 when：在哪些场景会用到 where：哪里会用到MVCC why：为什么要用MVCC who：mysql 的 innodb存储引擎 how：mysql是怎么实现mvcc 的 how much：用了mvcc提升了多少性能 ======================== 什么是mvcc，解决什么问题 问题是怎么背景 mvcc是怎么解决的，通过什么原理 用了mvcc会带来新的问题吗，能解决幻读不 背景 多事务并发的时候会有4种并发场景：读读，读写，写读，写写；最早的
InnoDB存储引擎MVCC的工作原理
简书的专栏
10-21 363
本文转自：https://my.oschina.net/xinxingegeya/blog/505675 InnoDB存储引擎的行结构 MySQL官方手册https://dev.mysql.com/doc/refman/5.7/en/innodb-multi-versioning.html Internally, *InnoDB adds three fields to each row sto...
MySQL InnoDB引擎 MVCC并发控制
华仔的逆袭的专栏
03-26 3062
首先，我们来介绍一下什么是MVCC，为什么要使用MVCC，MVCC的原理，然后结合MySQL的事务隔离级别来说一下MVCC的实现。1.MVCC定义MVCC全称Mutli Version Concurreny Control,多版本并发控制，也可称之为一致性非锁定读；它通过行的多版本控制方式来读取当前执行时间数据库中的行数据。实质上使用的是快照数据。2.为什么要使用MVCC 消除锁的开销；这个较好理解
Mysql InnoDB MVCC原理实现
u011385940的专栏
09-09 1961
MVCC原理实现 最近在整理笔记，发现mysql中有些概念及实现理解不透彻，所以本文旨在搞懂相关概念及实现。 此文基于InnoDB存储引擎分析。 查询会开启事务 InnoDB默认autocommit=ON（开启状态）： autocommit=ON时: 没有手动begin或start transaction开启事务，mysql默认也会将用户的操作当做事务即时提交； 手动开启事务 begin, 需手动commit提交事务; autocommit=OFF时: .
MySQL InnoDB MVCC 机制的原理及实现
骏马逸动，心随你动的博客
07-27 1089
什么是 MVCC MVCC (Multiversion Concurrency Control)中文全程叫多版本并发控制，是现代数据库（包括MySQL、Oracle、PostgreSQL等）引擎实现中常用的处理读写冲突的手段，目的在于提高数据库高并发场景下的吞吐性能。 如此一来不同的事务在并发过程中，SELECT操作可以不加锁而是通过MVCC机制读取指定的版本历史记录，并通过一些手段保证保证读取的记录值符合事务所处的隔离级别，从而解决并发场景下的读写冲突。 下面举一个多版本读的例子，例如两...
MySQL InnoDB存储引擎：锁机制详解
"MySQL数据库InnoDB存储引擎中的锁机制" MySQL数据库的InnoDB存储引擎使用锁作为并发控制的主要机制，确保在多事务环境下数据的一致性和完整性。锁的主要目的是避免并发事务间的冲突，防止数据不一致的情况发生。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值