MYSQL架构理解

MYSQL架构理解

通过对MYSQL重要的几个属性的理解，建立一个基本的MYSQL的知识框架。后续再补充完善。

一、MYSQL架构

这里给的架构描述，是很宏观的架构。有助于建立对MYSQL整体理解。

1. 架构图
　　以下是在网上找的两张MYSQL架构图。能反映MYSQL的结构。


结构基本一致，都是连接、服务和存储引擎三部分。

2.分层实现
　　MYSQL大致分为3个层次。连接层、服务层和引擎层。连接层功能是客户端的链接服务。服务层完成缓存查询、SQL分析、SQL优化。引擎层真正负责MYSQL数据的存储和提取。

1．连接层

核心功能是完成客户端的链接安全服务。负责一些连接处理、授权认证以及相关安全方案。该层提供了线程池功能。为通过安全认证的客户端提供线程。

验证主要是用户名、密码的验证。

2．服务层

服务层提供的服务包括查询的解析、分析（语法、语义）、优化（SQL）、缓存查询、内置函数（日期、数学、时间、加密）、跨存储引擎的功能（存储过程、触发器、视图）等。

3．引擎层

存储引擎层主要负责数据的存储和提取。服务器通过API和引擎层进行通信。

核心需要了解的引擎有InnoDB和MyISAM两种引擎。绝大多数情况下都选择使用使用InnoDB引擎。

InnoDB：支持事务、支持行表锁（高并发友好-行锁更好的支持并发）、支持主外键、不支持全文检索。
MyISAM：支持全文检索、不支持事务、只支持表锁(对并发不好–操作一条数据就需要锁住整张表)。
　　3.查询组件
　　按照查询过程，描述各组件的功能。

1．连接器

管理数据库链接、权限验证。

2.用户权限是链接时刻的用户权限

一个用户成功建立

连接后，即使你用管理员账号对这个用户的权限做了修改，也不会影响已经存在连接的权限。修改完成后，只有再新建的连接才会使用新的权限设置。

链接
　　　　链接过程比较麻烦，通常使用长链接。

(1) 长链接

如果客户端和服务端链接上之后，客户端有持续的请求，则一直使用同一个链接。

长链接缺点：容易占用内存。在执行语句中使用的内存是管理在链接对象中的。这些资源只有在断开链接的使用才能释放。如果长链接时间较长，可能积累的内存很大，造成内存溢出。解决思路(定期断开重连)。

(2)短链接

连接后执行SQL之后，断开链接，下次使用时，重新链接。

2．查询缓存

核心思想就是看，缓存中是否存在刚刚查询过和当前一样的SQL。如果存在，则直接使用缓存数据返回。如果不存在，才执行后续的查询步骤。缺点是：适合于静态表。如果是动态表，数据实时发生变化。查询以前的缓存数据不准确。

查询缓存
　　建立链接后，首先是在内存中查询，看之前是否执行过这条语句。之前执行过的语句可能以KEY-VALUE的形式保存在内存中。KEY为查询的语句。VALUE是查询的结果。

(1)缓存存在

直接将缓存的数据返回给客户端。

(2)缓存不存在

执行后面的阶段。

3．分析器

将SQL的字符串转成语法树。过程包含词法解析和语法解析。

(1)词法解析

识别字符串中的SQL关键字和函数关键字。

(2)语法解析

在词法分析基础之上，生成语法树。可以向后提交给优化器。

4．优化器

优化器对语法树进行进一步优化，给出更合理的执行计划。从而提高SQL的执行效率。

比如：多个表JOIN的时候，决定表的关联顺序。多个索引时，选择使用哪个索引。

5．执行器

经过优化器优化后的语句，进入执行器阶段。开始执行语句。

(1)判断权限

判断用户有没有对表操作的权限。如果没有，则直接返回该用户没有权限错误。如果有，就继续执行。

(2)调用引擎API，继续执行

打开表，执行器会根据表的引擎定义，去执行这个引擎提供的接口。

二、并发控制

当多个线程，同时修改同一张表的数据的时候，就需要并发控制。MYSQL在两个级别实现并发控制。服务器级(the server level)和存储引擎级(the storage engine level)。加锁实现并发控制。对锁从不同的角度分析，尽量减小锁对并发的影响。从提升并发性能的角度来分析的。

(一)、尽小可能使用互斥，尽大可能使用共享
　　互斥是实现同步的一种方式。也是代价比较大的一种。对并发性能影响较大。因此，对锁分为共享锁和互斥锁。也是经常说的读锁和写锁。根据不同的情况，在保证正确性的前提下，尽可能使用共享锁(读锁)。

1．读锁(共享锁)
　　读锁允许多个连接，并发的读取统一资源，互不干涉。读锁之间是共享的。不互斥。

2．写锁(互斥锁、排它锁)
　　一个写锁阻塞其它写锁和读锁。保证同一时刻只有一个连接写入数据。同时，防止其它用户对这个数据进行读写。

（二）、 粒度(尽小范围加锁)
　　在满足逻辑正确的情况下。加锁范围越小，产生阻塞的可能性越小。并发的性能就越高。因此。从这个角度来分析MYSQL的锁机制。MYSQL中分为表锁和行级锁。

1．表锁
　　表锁是用户操作的过程中对整张表锁定。只允许一个用户对表进行操作(插入、删除、更新)。MYSQL独立于存储引擎提供表锁，例如，对于ALTER TABLE语句，服务器提供表锁(table-level lock)。

表锁是MYSQL基本的锁策略。也是开销最小的锁策略（因为简单可行）。

2．行级锁
　　最大程度的支持并发处理。InnoDB支持行级锁。指锁定需要的几行数据即可。也是开销最大的所策略(需要精确的控制，代价很大)。

（三）、 多版本控制
　　多版本控制的核心是 读事务不用等待锁。从而更加提升了性能。MYSQL的MVCC的实现逻辑。

通过在每行数据后添加两个隐藏列来实现。一个是创建时间，一个死过期时间(删除时间)。这两个列存储的是系统版本号（版本号的大小体现时间的先后顺序）。每开始一个新的事务，版本号都会增加。事务开始时刻的版本号作为这个事务的版本号。

MVCC的具体操作，InnoDB引擎为例

（1）INSERT

插入每行数据，创建时间为当前的系统版本号

（2）DELETE

删除每行数据，保存当前系统版本号为删除时间。

（3）UPDATE

插入一行新数据。当前系统版本号为创建时间。另外，当前版本号为原来行的删除时间

（4）SELECT

读操作不需要等待其它锁

查询的时候，需要满足一下两个条件的数据。

只需要找创建时间小于或等于当前版本号的数据。（这样能确保事务读取的行，要么在事务开始之前就已经存在，要么是事务自身插入或者修改的）
行的删除时间，要么未定义，要么大于当前版本。
　　符合以上两个条件的记录，才能作为查询结果。

三、 事务

数据库的事务处理原则是ACID的正确性。

（一）、事务的ACID属性
　　1．原子性
　　一个事务被视为最小的工作单元，整个事务所有操作，要么都执行，要么全部回滚，都不执行。不能执行其中的一部分，任务不能分割。

2．一致性
　　符合逻辑，从一个一致性状态转换到另一个一致性状态。

3．隔离性
　　提供一定的隔离机制，保证事务在运行过程中不受外部并发操作的影响。一个事务所做的修改，在提交之前，对其它事务不可见。

4．持久性
　　一旦事务提交，其所做的修改就会保存到数据库中。即事务提交后，对数据的修改是永久性的。

（二）、 隔离级别
　　隔离规定了，一个事务所做的修改，那些在事务内部和事务间是可见的，那些是不可见的。较低级别的隔离通常可以执行较高的并发。系统的开销更低。

1．未提交读 REDA UNCOMMITED
　　事务中的修改，即使没有提交，对其它事务也都是可见的。

这种情况下，容易造成脏读。

2．提交读 READ COMMITED
　　一个事务中的修改，只有在事务提交之后，对其它事务才可见。换句话说，一个事务的修改，在其提交之前，对其余事务是不可见的。

这个级别满足隔离性的定义，也称为不可重复读。因为，即使在一个事务中，重复两次查询，可能得到不一样的结果。

3．可重复读 REPEATABLE READ
　　同一个事务中，多次读取，记录结果是一致的（因为同一个事务，版本号是一样的，有版本号控制，能够保证，多次查询结果是一致的）。重复读能解决脏读的问题。

可重复读是MYSQL默认的隔离级别。

4．可串行化 SERIALIZABLE
　　是隔离的最高级别。强制要求事务串行执行。是加锁读。

（三）、 死锁

两个或多个事务，在同一资源上相互占用。并请求占用对方占用的资源。

（四）、MYSQL中的事务

MYSQL默认为自动提交(AUTOCOMMIT)。

1．自动提交
　　如果不是显示的提交一个事务(START TRANSACTION —COMMIT)，每个查询都会作为一个事务提交。

参数设置：set autocommit = 1；

2．手动提交
　　所有的查询都是在一个事务中，直至显示的执行commit提交或者rollback回滚，该事务才结束。

参数设置： set autocommit = 0；

（五）、 事务处理的几个问题

由于事务的并发执行，带来以下一些著名的问题：

1．更新丢失（Lost Update）
　　当两个或多个事务选择同一行，然后基于最初选定的值更新该行时，由于每个事务都不知道其他事务的存在，就会发生丢失更新问题－－最后的更新覆盖了由其他事务所做的更新。

2．脏读（Dirty Reads）
　　一个事务正在对一条记录做修改，在这个事务完成并提交前，这条记录的数据就处于不一致状态；这时，另一个事务也来读取同一条记录，如果不加控制，第二个事务读取了这些"脏"数据，并据此做进一步的处理，就会产生未提交的数据依赖关系。这种现象被形象地叫做"脏读"。

3．不可重复读（Non-Repeatable Reads）
　　一个事务在读取某些数据后的某个时间，再次读取以前读过的数据，却发现其读出的数据已经发生了改变、或某些记录已经被删除了！这种现象就叫做"不可重复读"。

4．幻读（Phantom Reads）
　　一个事务按相同的查询条件重新读取以前检索过的数据，却发现其他事务插入了满足其查询条件的新数据，这种现象就称为"幻读"。

四、引擎

数据库中的引擎是真正执行SQL的组件，被MYSQL集成在内部。MYSQL是一个多引擎的数据库管理系统。核心的有InnoDB(默认引擎)和MyISAM。

（一）、 InnoDB
　　MYSQL默认的存储引擎。最大的特点是支持事务、支持行级锁，因此能支持高并发的访问。不支持全文索引。索引是基于聚簇索引建立的。对主键的查询有很高的性能。

（二）、MyISAM
　　MYSQL5之前的默认存储引擎。最大的特点是支持全文索引。但是，不支持事务，支持表锁。并发支持性不好。

原文链接：https://www.cnblogs.com/maopneo/p/13984922.html