MySQL 事务与存储引擎

---

引言：

MySQL 事务主要用于处理操作量大，复杂度高的数据。比如说，在人员管理系统中，你删除一个人员，你既需要删除人员的基本资料，也要删除和该人员相关的信息，如信箱，文章等等，这样，这些数据库操作语句就构成一个事务。

一、MySQL事务的概念

事务是一种机制、一个操作序列，包含了一组数据库操作命令，并且把所有的命令作为一个整体一起向系统提交或撤销操作请求，即这一组数据库命令要么都执行，要么都不执行。
事务是一个不可分割的工作逻辑单元，在数据库系统上执行并发操作时，事务是最小的控制单元。
事务适用于多用户同时操作的数据库系统的场景，如银行、保险公司及证券交易系统等等。
事务是通过事务的整体性以保证数据的一致性。
说白了，所谓事务，它是一个操作序列，这些操作要么都执行，要么都不执行，它是一个不可分割的工作单位。

二、事务的ACID特点

ACID，是指在可靠数据库管理系统（DBMS）中，事务(transaction)应该具有的四个特性：
原子性（Atomicity）、
一致性（Consistency）、
隔离性（Isolation）、
持久性（Durability）。
这是可靠数据库所应具备的几个特性。

1.原子性

原子性指事务是一个不可再分割的工作单位，事务中的操作要么都发生，要么都不发生。

1.事务是一个完整的操作，事务的各元素是不可分的。

2.事务中的所有元素必须作为一个整体提交或回滚。

3.如果事务中的任何元素失败，则整个事务将失败。

2.一致性

一致性指在事务开始之前和事务结束以后，数据库的完整性约束没有被破坏。

1.当事务完成时，数据必须处于一致状态。

2.在事务开始前，数据库中存储的数据处于一致状态。

3.在正在进行的事务中，数据可能处于不一致的状态。

4.当事务成功完成时，数据必须再次回到已知的一致状态。

3.隔离性

隔离性指在并发环境中，当不同的事务同时操纵相同的数据时，每个事务都有各自的完整数据空间。

1.对数据进行修改的所有并发事务是彼此隔离的，表明事务必须是独立的，

2.它不应以任何方式依赖于或影响其他事务。

3.修改数据的事务可在另一个使用相同数据的事务开始之前访问这些数据，或者在另一个使用相同数据的事务结束之后访问这些数据。

4.持久性

持久性在事务完成以后，该事务所对数据库所作的更改便持久的保存在数据库之中，并不会被回滚。

1.指不管系统是否发生故障，事务处理的结果都是永久的。

2.一旦事务被提交，事务的效果会被永久地保留在数据库中。

5.事务之间的相互影响

事务之间的相互影响分为几种，分别为：

1.脏读：
一个事务读取了另一个事务未提交的数据，而这个数据是有可能回滚的。

2.不可重复读：
一个事务内两个相同的查询却返回了不同数据。这是由于查询时系统中其他事务修改的提交而引起的。

3.幻读：
一个事务对一个表中的数据进行了修改，这种修改涉及到表中的全部数据行。同时，另一个事务也修改这个表中的数据，这种修改是向表中插入一行新数据。那么，操作前一个事务的用户会发现表中还有没有修改的数据行，就好象发生了幻觉一样。

4.丢失更新：
两个事务同时读取同一条记录，A先修改记录，B也修改记录（B不知道A修改过），B提交数据后B的修改结果覆盖了A的修改结果。

三、Mysql及事物隔离级别

1.read uncommitted : 读取尚未提交的数据 ：不解决脏读

2.read committed：读取已经提交的数据 ：可以解决脏读

3.repeatable read：重读读取：可以解决脏读 和 不可重复读 —mysql默认的

4.serializable：串行化：可以解决 脏读 不可重复读 和 虚读—相当于锁表

注：
mysql默认的事务处理级别是 repeatable read ，而Oracle和SQL Server是 read committed 。

1.查询全局事务隔离级别

show global variables like '%isolation%';
SELECT @@global.tx_isolation;
两种查询全局事务隔离等级的方式

2.查询会话事务隔离级别

show session variables like '%isolation%';
SELECT @@session.tx_isolation; 
SELECT @@tx_isolation;

3.设置全局事务隔离级别

set global transaction isolation level 等级；
例：
set global transaction isolation level read committed;

四、事务控制语句

BEGIN 或 START TRANSACTION：显式地开启一个事务。
 
COMMIT 或 COMMIT WORK：提交事务，并使已对数据库进行的所有修改变为永久性的。
 
ROLLBACK 或 ROLLBACK WORK：回滚会结束用户的事务，并撤销正在进行的所有未提交的修改。
 
SAVEPOINT S1：使用 SAVEPOINT 允许在事务中创建一个回滚点，一个事务中可以有多个 SAVEPOINT；“S1”代表回滚点名称。
 
ROLLBACK TO [SAVEPOINT] S1：把事务回滚到标记点。

1.测试提交事务

begin;                 #开启一个事务
update yingling set atk= atk + 100 where id=1;
select * from class;
 
commit;           #提交事务
quit
 
mysql -u root -p
use school;
select * from class;

atk1099已经保存

2.测试回滚事务

begin;                #开启一个事务
update yingling set atk= atk + 100 where id=1;
select * from yingling;
 
rollback;          #回滚事务
quit
mysql -u root -p
use FGO;
select * from yingling;

事务回滚成功1199未保存

3.测试多点回滚

begin;                                     #开启一个事务
update yingling set atk= atk + 100 where id=1;
select * from yingling;
SAVEPOINT S1;                 #创建一个回滚点
update yingling set atk= atk + 100 where id=2;
select * from yingling;
SAVEPOINT S2;              #创建第二个回滚点
insert into  values(3,'C',1000);      #插入一条数据
 
select * from class;
ROLLBACK TO S1;        #回滚到s1回滚点
select * from class;

4.使用 set 设置控制事务

SET AUTOCOMMIT=0;	#禁止自动提交
SET AUTOCOMMIT=1;	#开启自动提交，Mysql默认为1
SHOW VARIABLES LIKE ‘AUTOCOMMIT’;	#查看Mysql中的AUTOCOMMIT值

如果没有开启自动提交，当前会话连接的mysql的所有操作都会当成一个事务直到你输入rollback|commit;当前事务才算结束。当前事务结束前新的mysql连接时无法读取到任何当前会话的操作结果。
如果开起了自动提交，mysql会把每个sql语句当成一个事务，然后自动的commit。
当然无论开启与否，begin; commit|rollback; 都是独立的事务。

use FGO;
select * from yingling;
SET AUTOCOMMIT=0;
SHOW VARIABLES LIKE 'AUTOCOMMIT';
update yingling set atk= atk + 100 where id=3;
select * from yingling;
quit
 
mysql -u root -p
use FGO;
select * from yingling;

ATK值未增加，关闭自动提交成功

五、MySQL 存储引擎

1. 存储引擎概念介绍

MySQL中的数据用各种不同的技术存储在文件中，每一种技术都使用不同的存储机制、索引技巧、锁定水平并最终提供不同的功能和能力，这些不同的技术以及配套的功能在MySQL中称为存储引擎
存储引擎是MySQL将数据存储在文件系统中的存储方式或者存储格式

2.MySQL常用的存储引擎

2.1 MyISAM

ySQL数据库中的组件，负责执行实际的数据I/O操作
MySQL系统中，存储引擎处于文件系统之上，在数据保存到数据文件之前会传输到存储引擎，之后按照各个存储引擎的存储格式进行存储
MyISAM的特点

1.MyISAM不支持事务，也不支持外键约束，只支持全文索引，数据文件和索引文件是分开保存的

2.访问速度快，对事务完整性没有要求
MyISAM 适合查询、插入为主的应用

3.MyISAM在磁盘上存储成三个文件，文件名和表名都相同，但是扩展名分别为：
.frm 文件存储表结构的定义
数据文件的扩展名为 .MYD (MYData)
索引文件的扩展名是 .MYI (MYIndex)

4.表级锁定形式，数据在更新时锁定整个表
数据库在读写过程中相互阻塞:
会在数据写入的过程阻塞用户数据的读取
也会在数据读取的过程中阻塞用户的数据写入
数据单独写入或读取，速度过程较快且占用资源相对少

2.2 MyISAM 表支持 3 种不同的存储格式：

（1）静态(固定长度)表

静态表是默认的存储格式。静态表中的字段都是非可变字段，这样每个记录都是固定长度的，这种存储方式的优点是存储非常迅速，容易缓存，出现故障容易恢复；缺点是占用的空间通常比动态表多。

（2）动态表

动态表包含可变字段，记录不是固定长度的，这样存储的优点是占用空间较少，但是频繁的更新、删除记录会产生碎片，需要定期执行 OPTIMIZE TABLE 语句或 myisamchk -r 命令来改善性能，并且出现故障的时候恢复相对比较困难。

（3）压缩表

压缩表由 myisamchk 工具创建，占据非常小的空间，因为每条记录都是被单独压缩的，所以只有非常小的访问开支。

2.3 MyISAM适用的生产场景

公司业务不需要事务的支持
单方面读取或写入数据比较多的业务
MyISAM存储引擎数据读写都比较频繁场景不适合
使用读写并发访问相对较低的业务
数据修改相对较少的业务
对数据业务一致性要求不是非常高的业务
服务器硬件资源相对比较差

3. InnoDB

1.支持事务，支持4个事务隔离级别
MySQL从5.5.5版本开始，默认的存储引擎为 InnoDB

2.读写阻塞与事务隔离级别相关
能非常高效的缓存索引和数据
表与主键以簇的方式存储
支持分区、表空间，类似oracle数据库
支持外键约束，5.5前不支持全文索引，5.5后支持全文索引

3.对硬件资源要求还是比较高的场合
行级锁定，但是全 表扫描仍然会是表级锁定，如
update table set a=1 where user like ‘%lic%’;

4.InnoDB 中不保存表的行数，如 select count() from table; 时，InnoDB 需要扫描一遍整个表来计算有多少行，但是 MyISAM 只要简单的读出保存好的行数即可。需要注意的是，当 count()语句包含 where 条件时 MyISAM 也需要扫描整个表

对于自增长的字段，InnoDB 中必须包含只有该字段的索引，但是在 MyISAM 表中可以和其他字段一起建立组合索引。

清空整个表时，InnoDB 是一行一行的删除，效率非常慢。MyISAM 则会重建表

mysql默认的事务处理级别是 repeatable read ，而Oracle和SQL Server是 read committed 。

4. 查看系统支持的存储引擎

show engines;

5.查看表使用的存储引擎

方法一

show table status from 库名 where name='表名'\G；
 
例：show table status from FGO where name='yingling'\G;

方法二

use 库名;
show create table 表名;
 
例：use FGO;
show create table yingling;

6.修改存储引擎

方法一：通过 alter table 修改

use 库名;
alter table 表名 engine=MyISAM;
 
例：use FGO;
alter table yingling engine=myisam;
show create table yingling;

方法二：

通过修改 /etc/my.cnf 配置文件，指定默认存储引擎并重启服务

quit
vim /etc/my.cnf
[mysqld]
default-storage-engine=INNODB        #添加
 
systemctl restart mysqld.service       #重启服务
#注意：此方法只对修改了配置文件并重启mysql服务后新创建的表有效，已经存在的表不会有变更。

systemctl restart mysqld.service
修改完记得重启mysql服务

#注意：此方法只对修改了配置文件并重启mysql服务后新创建的表有效，已经存在的表不会有变更。

方法三：通过 create table 创建表时指定存储引擎

use 库名;
create table 表名(字段1 数据类型,...) engine=MyISAM;
 
例：mysql -u root -p
use school;
create table hellolic (name varchar(10),age char(4))engine=myisam;

7.MyISAM 和 INNODB区别（差异）

InnoDB支持事物，而MylSAM不支持事物。
lnnoDB支持行级锁，而MylSAM支持表级锁.
InnoDB支持MVCC,而MlSAM不支持。
lnnoDB支持外键。而MyISAM不支持。
lnnoDB全文索引，而MylSAM支持。

InnoDB是聚集索引，使用B+Tree作为索引结构，数据文件是和（主键）索引绑在一起的（表数据文件本身就是按B+Tree组织的一个索引结构），必须要有主键，通过主键索引效率很高。MyISAM是非聚集索引，也是使用B+Tree作为索引结构，索引和数据文件是分离的，索引保存的是数据文件的指针。主键索引和辅助索引是独立的。
InnoDB不保存表的具体行数，执行select count(*) from table时需要全表扫描。而MyISAM用一个变量保存了整个表的行数，执行上述语句时只需要读出该变量即可，速度很快。
Innodb不支持全文索引，而MyISAM支持全文索引，查询效率上MyISAM要高；5.7以后的InnoDB支持全文索引了。

InnoDB表必须有主键（用户没有指定的话会自己找或生产一个主键），而Myisam可以没有。
Innodb存储文件有frm、ibd，而Myisam是frm、MYD、MYI。
Innodb：frm是表定义文件，ibd是数据文件。

Myisam：frm是表定义文件，myd是数据文件，myi是索引文件。

六、什么是大事务

1.大事务是指运行时间比较长，操作的数据比较多的事务。

2.这类型的事务容易给数据库带来负担：

3.锁定了过多的数据，造成不必要的拥塞堵塞。

4.在事务执行的过程中需要堵塞容易引起主从数据同步不一致的情况发生。

当我们执行事务的操作过大，例如说delete某张表里买呢一亿条数据的时候，如果加入了事务保护，那么假设期间出现了异常，整段事务的回滚将会非常消耗机器的性能和耗时。通常可以让研发将大事务分解为多个小事务进行优化处理。

在mysql的二进制日志里面，当多个会话同时访问server执行事务性sql语句的请求时候，binlog会给每个会话单独开启一个线程进行事务性sql的缓存处理。直至当相应的sql执行完毕之后再写入到binlog日志中。

这样做的好处在于能够将不同的事物进行分隔出来处理。并且保证每个写入binlog的事务sql都是完整且正常执行的一个单位。而且如果事务在执行的过程中发生了回滚的话，可以直接在内存中间数据删除，不需要再在日志里面进行记录删除操作。

1.大事务产生的原因

操作的数据比较多
大量的锁竞争
事务中有其他非DB的耗时操作
。。。

2. 大事务造成的影响

并发情况下，数据库连接池容易被撑爆
锁定太多的数据，造成大量的阻塞和锁超时
执行时间长，容易造成主从延迟
回滚所需要的时间比较长
undo log膨胀
。。。

3.如何查询大事务

注：本文的sql的操作都是基于mysql5.7版本

以查询执行时间超过10秒的事务为例：

select * from information_schema.innodb_trx where TIME_TO_SEC(timediff(now(),trx_started))>10

4.何避免大事务

通用解法

在一个事务里面， 避免一次处理太多数据
在一个事务里面，尽量避免不必要的查询
在一个事务里面， 避免耗时太多的操作，造成事务超时。一些非DB的操作，比如rpc调用，消息队列的操作尽量放到事务之外操作

基于mysql5.7的解法

1.在InnoDB事务中，行锁是在需要的时候才加上的，但并不是不需要了就立刻释放，而是要等到事务结束时才释放。如果你的事务中需要锁多个行，要把最可能造成锁冲突、最可能影响并发度的锁尽量往后放
2.通过SETMAX_EXECUTION_TIME命令， 来控制每个语句查询的最长时间，避免单个语句意外查询太长时间
3.监控 information_schema.Innodb_trx表，设置长事务阈值，超过就报警/或者kill在业务功能测试阶段要求输出所有的general_log，分析日志行为提前发现问题
4.设置innodb_undo_tablespaces值，将undo log分离到独立的表空间。如果真的出现大事务导致回滚段过大，这样设置后清理起来更方便

5.附录查询事务相关语句

注：sql语句都是基于mysql5.7版本

# 查询所有正在运行的事务及运行时间
select t.*,to_seconds(now())-to_seconds(t.trx_started) idle_time from INFORMATION_SCHEMA.INNODB_TRX t
 
# 查询事务详细信息及执行的SQL
select now(),(UNIX_TIMESTAMP(now()) - UNIX_TIMESTAMP(a.trx_started)) diff_sec,b.id,b.user,b.host,b.db,d.SQL_TEXT from information_schema.innodb_trx a inner join information_schema.PROCESSLIST b
on a.TRX_MYSQL_THREAD_ID=b.id and b.command = 'Sleep'
inner join performance_schema.threads c ON b.id = c.PROCESSLIST_ID
inner join performance_schema.events_statements_current d ON d.THREAD_ID = c.THREAD_ID;
 
# 查询事务执行过的所有历史SQL记录
SELECT
  ps.id 'PROCESS ID',
  ps.USER,
  ps.HOST,
  esh.EVENT_ID,
  trx.trx_started,
  esh.event_name 'EVENT NAME',
  esh.sql_text 'SQL',
  ps.time 
FROM
  PERFORMANCE_SCHEMA.events_statements_history esh
  JOIN PERFORMANCE_SCHEMA.threads th ON esh.thread_id = th.thread_id
  JOIN information_schema.PROCESSLIST ps ON ps.id = th.processlist_id
  LEFT JOIN information_schema.innodb_trx trx ON trx.trx_mysql_thread_id = ps.id 
WHERE
  trx.trx_id IS NOT NULL 
  AND ps.USER != 'SYSTEM_USER' 
ORDER BY
  esh.EVENT_ID;
  
 # 简单查询事务锁
 select * from sys.innodb_lock_waits
 
 # 查询事务锁详细信息
 SELECT
  tmp.*,
  c.SQL_Text blocking_sql_text,
  p.HOST blocking_host 
FROM
  (
  SELECT
    r.trx_state wating_trx_state,
    r.trx_id waiting_trx_id,
    r.trx_mysql_thread_Id waiting_thread,
    r.trx_query waiting_query,
    b.trx_state blocking_trx_state,
    b.trx_id blocking_trx_id,
    b.trx_mysql_thread_id blocking_thread,
    b.trx_query blocking_query 
  FROM
    information_schema.innodb_lock_waits w
    INNER JOIN information_schema.innodb_trx b ON b.trx_id = w.blocking_trx_id
    INNER JOIN information_schema.innodb_trx r ON r.trx_id = w.requesting_trx_id 
  ) tmp,
  information_schema.PROCESSLIST p,
  PERFORMANCE_SCHEMA.events_statements_current c,
  PERFORMANCE_SCHEMA.threads t 
WHERE
  tmp.blocking_thread = p.id 
  AND t.thread_id = c.THREAD_ID 
  AND t.PROCESSLIST_ID = p.id 

七、总结

1.在事务管理中，原子性是基础，隔离性是手段，一致性是目的，持久性是结果

2.begin; commit|rollback; 都是独立的事务

3.myisam和innodb引擎的特点及区别

4.数据表引擎的修改及查看方式