专题-子项-1-mysql-深入理解Mysql锁与事务隔离级别

 

--------------锁与事务总结-------------

锁---innodb行锁（所以才支持事物）和MyISAM表锁（查自动加表读锁，写自动加表写锁--不适合写的业务）
innodb的事物有ACID特性；
其中I特性--事物隔离级别有4种，后三种可以解决3个事物并发问题：脏读、不可重读、幻读
mysql事物隔离级别默认是可重复读的原因---Mysql在5.0时读已提交主从复制有数据一致性问题，因为binlog只有statement格式。
可重复读的隔离级别原理----MVCC机制的快照读（RC是真实读）
可重复读的如何解决幻读问题----发挥其间隙锁机制（能解决幻读和主从复制不一致问题）----但会带来新的问题：间隙锁的范围锁多事物间并发容易死锁
mysql是默认的读已提交，建议mysql改或业务直接选读已提交的原因，有三----repeatable的间隙锁机制会使死锁的概率增、可重复读隔离级别下，条件列未命中索引会锁表、读已提交隔离级别下，引入半一致性读性能高；
读已提交解决主从复制不一致问题的方式---将binglog的格式修改为row格式，此时是基于行的复制

两个事物并发更新余额的情况：都先查后更新，查询余额都够扣一次，T1和T2交叉,T2后执行，余额再扣可能是负的；不用sql公式直接代码算好sql赋值也可能造成覆盖（数据不一致）
可重复读需结合---带公式减余额赋值，再带条件判断是否小于0；

2pc--两阶段锁协议
任务在没有commit的情况下，数据库里的数据是没有变化的，但数据库其他属性有变化，比如写锁和读锁状态都被挂起了，commit就释放锁状态（写都是排它锁不许其他会话来写锁和读锁）

 

１. 概述

----------------------------------锁的分类------------------------------

1.2 锁的分类

1. 从性能上分为乐观锁(用版本对比来实现)和悲观锁
2. 从对数据库操作的类型分，分为读锁和写锁(都属于悲观锁)

读锁（共享锁）：针对同一份数据，多个读操作可以同时进行而不会互相影响----会阻塞写--read only（经常在事物刚开始就用）

写锁（排它锁）：当前写操作没有完成前，它会阻断其他写锁和读锁--所有的写sql默认就带锁

3、对数据操作的粒度分，分为表锁和行锁（nnoD）
 

3.1、nnoDB实际上支持三种行锁定方式：

• 行锁（Record Lock）：锁直接加在索引记录上面（无索引项时演变成表锁）。

• 间隙锁（Gap Lock）--条件性解决幻读：锁定索引记录间隙，确保索引记录的间隙不变。间隙锁是针对事务隔离级别为可重复读或以上级别的。

• Next-Key Lock ：行锁和间隙锁组合起来就是 Next-Key Lock。
  一般rr级别默认就是行锁和间隙锁组合起来。但当查询条件有唯一属性（唯一索引，主键索引）时，Innodb存储引擎会对next-key lock进行优化，将其降为record lock,即仅锁住索引本身（可以理解为自增主键不可能出现在条件间隙范围内），而不是范围。

 

2. 三锁

第三种锁就是页锁（提的索引页，一页=一个叶子节点），是锁一页的数据多行，会出现死锁（有点像间隙锁---行锁的范围锁）；
 

1. InnoDB 中的行锁的实现依赖于索引，一旦某个加锁操作没有使用到索引，那么该锁就会退化为表锁。
2. 记录锁存在于包括主键索引在内的唯一索引中，锁定单条索引记录。
3. 间隙锁存在于非唯一索引中，锁定开区间范围内的一段间隔，它是基于临键锁实现的。
4. 临键锁存在于非唯一索引中，该类型的每条记录的索引上都存在这种锁，它是一种特殊的间隙锁，锁定一段左开右闭范围的索引区间。

----------------------------------表锁-----------------------------

2.1 表锁（偏读）

表锁偏向MyISAM存储引擎，开销小，加锁快，无思索，锁定粒度大，发生锁冲突的概率最高，并发度最低。

 

2.1.1 基本操作

1. 建表SQL

CREATE TABLE `mylock` (

`id` INT (11) NOT NULL AUTO_INCREMENT,

`NAME` VARCHAR (20) DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE = MyISAM DEFAULT CHARSET = utf8;

1. 插入数据

INSERT INTO`test`.`mylock` (`id`, `NAME`) VALUES ('1', 'a');

INSERT INTO`test`.`mylock` (`id`, `NAME`) VALUES ('2', 'b');

INSERT INTO`test`.`mylock` (`id`, `NAME`) VALUES ('3', 'c');

INSERT INTO`test`.`mylock` (`id`, `NAME`) VALUES ('4', 'd');

1. 手动增加表锁

lock table 表名称 read(write),表名称2 read(write);

1. 查看表上加过的锁

show open tables;

1. 删除表锁

unlock tables;

 

2.1.2 案例分析(加读锁）

 

当前session和其他session都可以读该表

当前session中插入或者更新锁定的表都会报错，其他session插入或更新则会等待

 

2.1.3 案例分析(加写锁）

当前session对该表的增删改查都没有问题，其他session对该表的所有操作被阻塞

 

2.1.4 案例结论

MyISAM在执行查询语句(SELECT)前,会自动给涉及的所有表加读锁（所以MyISAM不适合写，适合读的业务）,在执行增删改操作前,会自动给涉及的表加写锁。

1、对MyISAM表的读操作(加读锁) ,不会阻寒其他进程对同一表的读请求,但会阻赛对同一表的写请求。只有当读锁释放后,才会执行其它进程的写操作。

2、对MylSAM表的写操作(加写锁) ,会阻塞其他进程对同一表的读和写操作,只有当写锁释放后,才会执行其它进程的读写操作

总结：

简而言之，就是读锁会阻塞写，但是不会阻塞读。而写锁则会把读和写都阻塞。

 

----------------------------------行锁-----------------------------

2.2 行锁（偏写）

行锁偏向InnoDB存储引擎，开销大，加锁慢，会出现死锁，锁定粒度最小，发生锁冲突的概率最低，并发度也最高。InnoDB与MYISAM的最大不同有两点：一是支持事务（TRANSACTION）；二是采用了行级锁。

 

----------------------------------（innodb）行锁支持事务-及事务相关问题解决-----------------------------

2.2.1 ------行锁支持事务------事务------（锁-联想到行锁支持事物，事物就有acid特性，就有并发事物的3个问题，通过i级别来解决）

1. 1------事务（Transaction）及其ACID属性

事务是由一组SQL语句组成的逻辑处理单元,事务具有以下4个属性,通常简称为事务的ACID属性。

原子性(Atomicity) ：事务是一个原子操作单元,其对数据的修改,要么全都执行,要么全都不执行。

一致性(Consistent) ：在事务开始和完成时,数据都必须保持一致状态。这意味着所有相关的数据规则都必须应用于事务的修改,以保持数据的完整性;事务结束时,所有的内部数据结构(如B树索引或双向链表)也都必须是正确的。

隔离性(Isolation) ：数据库系统提供一定的隔离机制,保证事务在不受外部并发操作影响的“独立”环境执行。这意味着事务处理过程中的中间状态对外部是不可见的,反之亦然。

持久性(Durable) ：事务完成之后,它对于数据的修改是永久性的,即使出现系统故障也能够保持。

1. 2------并发事务处理带来的问题

 更新丢失（Lost Update）

　　当两个或多个事务选择同一行，然后基于最初选定的值更新该行时，由于每个事务都不知道其他事务的存在，就会发生丢失更新问题–最后的更新覆盖了由其他事务所做的更新。

 脏读（Dirty Reads）

　　一个事务正在对一条记录做修改，在这个事务完成并提交前，这条记录的数据就处于不一致的状态；这时，另一个事务也来读取同一条记录，如果不加控制，第二个事务读取了这些“脏”数据，并据此作进一步的处理，就会产生未提交的数据被其他线程事务读走，后本线程事务回滚了。这种现象被形象的叫做“脏读”。

　　一句话：事务A读取到了事务B已经修改但尚未提交的数据，还在这个数据基础上做了操作。此时，如果B事务回滚，A读取的数据无效，不符合一致性要求。

不可重读（Non-Repeatable Reads）

　　一个事务内在读取某些数据后的某个时间，再次读取以前读过的数据（避开一级缓存的影响，不然事物内相同sql肯定相同??--其他事物更改了本条sql的结果值这个缓存应该会被清除，这里待确认），却发现其读出的数据已经发生了改变、或某些记录已经被删除了！这种现象就叫做“不可重复读”。

　　一句话：事务A读取到了事务B已经提交的修改数据，不符合隔离性

幻读（Phantom Reads）

　　一个事务按相同的查询条件重新读取以前检索过的数据，却发现其他事务插入了满足其查询条件的新数据--数据不一致的问题，这种现象就称为“幻读”。

　　一句话：事务A读取到了事务B提交的新增数据，不符合隔离性

脏读是事务B里面修改了数据

幻读是事务B里面新增了数据

 

1. 事务隔离级别（Mysql默认是可重复读repeatable Read，-但互联网项目中spring代码请用：读已提交(Read Commited)这个隔离级别！）

项目的隔离级别要选用read commited 原因有三：
经典参考：https://blog.csdn.net/java_collect/article/details/105042975
1）、repeatable存在间隙锁会使死锁的概率增大；
2）、在RR可重复读隔离级别下，条件列未传索引项，即不走索引树就会锁全表！而在RC隔离级别下，只锁行；
3）、在RC隔离级别下，引入半一致性读(semi-consistent)特性增加了update操作的性能！

脏读”、“不可重复读”和“幻读”,其实都是数据库读一致性问题,必须由数据库提供一定的事务隔离机制来解决。

 

数据库的事务隔离越严格,并发副作用越小,但付出的代价也就越大,因为事务隔离实质上就是使事务在一定程度上“串行化”进行,这显然与“并发”是矛盾的。

同时,不同的应用对读一致性和事务隔离程度的要求也是不同的,比如许多应用对“不可重复读"和“幻读”并不敏感,可能更关心数据并发访问的能力。

常看当前数据库的事务隔离级别: show variables like 'tx_isolation';

设置事务隔离级别：set tx_isolation='REPEATABLE-READ';

 

2.2.2 行锁案例分析

1. 用下面的表演示，需要开启事务，Session_1更新某一行，Session_2更新同一行被阻塞，但是更新其他行正常

 

2.2.3 隔离级别案例分析

CREATE TABLE `account` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `name` varchar(255) DEFAULT NULL,

  `balance` int(11) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

INSERT INTO `test`.`account` (`name`, `balance`) VALUES ('lilei', '450');

INSERT INTO `test`.`account` (`name`, `balance`) VALUES ('hanmei', '16000');

INSERT INTO `test`.`account` (`name`, `balance`) VALUES ('lucy', '2400');

 

1、读未提交：

　　　　（1）打开一个客户端A，并设置当前事务模式为read uncommitted（未提交读），查询表account的初始值：

 set tx_isolation='read-uncommitted';

　　　　（2）在客户端A的事务提交之前，打开另一个客户端B，更新表account：

 

 

　　　　（3）这时，虽然客户端B的事务还没提交，但是客户端A就可以查询到B已经更新的数据：

 

　　　　（4）一旦客户端B的事务因为某种原因回滚，所有的操作都将会被撤销，那客户端A查询到的数据其实就是脏数据：

 

 　　　　（5）在客户端A执行更新语句update account set balance = balance - 50 where id =1，lilei的balance没有变成350，居然是400，是不是很奇怪，数据不一致啊，如果你这么想就太天真 了，在应用程序中，我们会用400-50=350，并不知道其他会话回滚了，要想解决这个问题可以采用读已提交的隔离级别

 

2、读已提交

　　　　（1）打开一个客户端A，并设置当前事务模式为read committed（未提交读），查询表account的所有记录：

 set tx_isolation='read-committed';

　　　　（2）在客户端A的事务提交之前，打开另一个客户端B，更新表account：

 

　　　　（3）这时，客户端B的事务还没提交，客户端A不能查询到B已经更新的数据，解决了脏读问题：

 

　　　　（4）客户端B的事务提交

　　　　（5）客户端A执行与上一步相同的查询，结果 与上一步不一致，即产生了不可重复读的问题

----------------------------------可重复读的隔离级别------------------------------

• “快照”并不是在begin后就生成，而是在第一条“快照读”语句（普通查询）后才生成(锁读和写读都是当前读)
• 快照读(consistent nonlocking reads)
• 当前读(locking reads)
• MVCC--当事物内首条非锁sql查询才开始生成快照，且第二次执行SELECT语句时不会生成新的快照ReadView,依然会使用第一次快照
• gap lock
• next-key lock
• 幻读

1. 可重复读

 

 　　　　（1）打开一个客户端A，并设置当前事务模式为repeatable read，查询表account的所有记录

set tx_isolation='repeatable-read';

　　　　（2）在客户端A的事务提交之前，打开另一个客户端B，更新表account并提交

　　　　（3）在客户端A查询表account的所有记录，与步骤（1）查询结果一致，没有出现不可重复读的问题

----------------------------------可重复读的隔离级别原理----MVCC机制-----------------------------

-可重复读的隔离级别的实现原理是什么？？

MVCC的控制方式 ，即Mutil-Version Concurrency Control,多版本并发控制.类似于乐观锁的一种实现方式

实现方式1：
InnoDB在每行记录后面保存两个隐藏的列来，分别保存了这个行的创建时间和行的删除时间。这里存储的并不是实际的时间值,而是系统版本号，当数据被修改时，版本号加1
在读取事务开始时，系统会给当前读事务一个版本号，事务会读取版本号<=当前版本号的数据
此时如果其他写事务修改了这条数据，那么这条数据的版本号就会加1，从而比当前读事务的版本号高，读事务自然而然的就读不到更新后的数据了

实现方式2：：使用MVCC（多版本并发控制）。InnoDB为每行记录添加了一个版本号（系统版本号），每当修改数据时，版本号加一。
事务开始时拿到当前最新版本号A，事务内都会读取版本号<=这个版本号A的数据，这时就算另一个事务插入一个数据，并立马提交，变更了实际的版本号，新插入这条数据的版本号会比读取事务的版本A号高，因此读取事务查询读的数据还是不会变。但更新sql事件里如果有公式运算涉及到的变量值全是最新版本的值。---------可重复读的隔离级别就是通过这种机制来实现，事物内多次读相同的。

（4）---正确用法----

--在客户端A，接着执行update balance = balance - 50 where id = 1，balance没有变成400-50=350，lilei的balance值用的是步骤（2）中的350来算的，所以是300，数据的一致性倒是没有被破坏。事物可重复读的隔离级别下使用了MVCC机制，select操作不会更新版本号，是快照读（历史版本）；insert、update和delete会更新版本号，是当前读（当前版本）。

---错误用法----

java代码里直接在事物内查出来后，自行计算好结果后，直接把终值set给mysql，由于事物可重复读的隔离级别下使用了MVCC机制，当前事物1读到的balance1后，事物2接着立马更新成balance2，事物1再读一次还是会取历史版（物可重复读原理-MVCC机制），查到balance1，如果拿它算好结果直接赋值给数据库就错了。必须走update公式sql，会查最新的当前版本的balance2去计算。

（5）重新打开客户端B，插入一条新数据后提交

（6）在客户端A查询表account的所有记录，没有 查出 新增数据，所以没有出现幻读

 (7)验证幻读--更新时，正好有新数据满足更新条件，误被一起更新了

在客户端A执行update account set balance=888 where id = 4;能更新成功，再次查询能查到客户端B新增的数据

 

4.串行化

　　　　（1）打开一个客户端A，并设置当前事务模式为serializable，查询表account的初始值：

set tx_isolation='serializable';

mysql> set session transaction isolation level serializable; Query OK, 0 rows affected (0.00 sec)  mysql> start transaction; Query OK, 0 rows affected (0.00 sec)  mysql> select * from account; +------+--------+---------+| id   | name   | balance |+------+--------+---------+|    1 | lilei  |   10000 ||    2 | hanmei |   10000 ||    3 | lucy   |   10000 ||    4 | lily   |   10000 |+------+--------+---------+4 rows in set (0.00 sec)

 

　　　　（2）打开一个客户端B，并设置当前事务模式为serializable，插入一条记录报错，表被锁了插入失败，mysql中事务隔离级别为serializable时会锁表，因此不会出现幻读的情况，这种隔离级别并发性极低，开发中很少会用到。

 

mysql> set session transaction isolation level serializable; Query OK, 0 rows affected (0.00 sec)  mysql> start transaction; Query OK, 0 rows affected (0.00 sec)  mysql> insert into account values(5,'tom',0); ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction

 

----------------------------------间隙锁（Gap Lock）------------------------------

1、ysql默认级别是repeatable-read，有办法解决幻读问题吗？。
不能。一般只有串行化读能解决，但并发写效率过低，不采用。有时特殊情况，可结合间隙锁来解决幻读
-----间隙锁解决幻读问题时引入的锁机制---
原理：比如场景，
问题---先查一个范围条件得到结果值，如果依次更新结果值，刚好有一个另的事物插入一条也满足条件的，这样本事物提前完成那刻没保证改全。
解决----锁范围条件的ID，保证这个范围内事物提交前不会被别的事物插入，这样本事物提前完成那刻保证改全。别的事物想插入也是等待完成后才插入的。

间隙锁（Gap Lock）在某些情况下可以解决幻读问题----比如设自增主键ID，更新条件里都是按ID的范围查的，新数据肯定是最大的，不会满足条件。

要避免幻读可以用间隙锁在Session_1下面执行update account set name = 'zhuge' where id > 10 and id <=20;，则其他Session没法插入这个范围内的数据

2.2.6 死锁---间隙锁死锁问题
事务A获取到a字段（a10,a20]之间的间隙锁不允许其他的DDL操作，在事务提交，间隙锁释放之前，
事务B获取到了b字段间隙锁（b1,b10]，
事务A如果刚才改了b字段在（b1,b10]内，就会等待，事务B如果刚才改了a字段（a10,a20]，也会等待，这样互相等待就容易死锁了。
 

2.2.4 案例结论

Innodb存储引擎由于实现了行级锁定，虽然在锁定机制的实现方面所带来的性能损耗可能比表级锁定会要更高一下，但是在整体并发处理能力方面要远远优于MYISAM的表级锁定的。当系统并发量高的时候，Innodb的整体性能和MYISAM相比就会有比较明显的优势了。

　　但是，Innodb的行级锁定同样也有其脆弱的一面，当我们使用不当的时候，可能会让Innodb的整体性能表现不仅不能比MYISAM高，甚至可能会更差。

 

2.2.5 行锁分析

通过检查InnoDB_row_lock状态变量来分析系统上的行锁的争夺情况

show status like'innodb_row_lock%';

 

对各个状态量的说明如下：

Innodb_row_lock_current_waits: 当前正在等待锁定的数量

Innodb_row_lock_time: 从系统启动到现在锁定总时间长度

Innodb_row_lock_time_avg: 每次等待所花平均时间

Innodb_row_lock_time_max：从系统启动到现在等待最长的一次所花时间

Innodb_row_lock_waits:系统启动后到现在总共等待的次数

 

对于这5个状态变量，比较重要的主要是：

Innodb_row_lock_time_avg （等待平均时长）

Innodb_row_lock_waits （等待总次数）

Innodb_row_lock_time（等待总时长）

 

尤其是当等待次数很高，而且每次等待时长也不小的时候，我们就需要分析系统中为什么会有如此多的等待，然后根据分析结果着手制定优化计划。

 

2.2.6 死锁---

set tx_isolation='repeatable-read';

Session_1执行：select * from account where id=1 for update;

Session_2执行：select * from account where id=2 for update;

Session_1执行：select * from account where id=2 for update;-- //Session_1开始等待Session_2

Session_2执行：select * from account where id=1 for update;//Session_2开始等待Session_1，造成互相等待，一直死锁了

查看近期死锁日志信息：show engine innodb status\G;

大多数情况mysql可以自动检测死锁并回滚产生死锁的那个事务，但是有些情况mysql没法自动检测死锁

 

----------------------------------优化建议----------------------------

2.2.7 优化建议

1. 尽可能让所有数据检索都通过索引来完成，避免无索引行锁升级为表锁
2. 合理设计索引，尽量缩小锁的范围
3. 尽可能减少检索条件，避免间隙锁（可能会死锁）
4. 尽量控制事务大小，减少锁定资源量和时间长度
5. 尽可能低级别事务隔离