mysql的体系架构详解

一、简介

mysql是一个开源的数据库管理系统，它相对于oracle更加地轻量、成本低，随着功能的日益完善，它变得备受企业喜爱，尤其是中小企业。

mysql的整体架构大体包括以下几个方面：

1）主体结构

2）物理文件组成

3）sql逻辑模块组成

4）sql逻辑模块协调工作

二、主体结构

了解MySql必须牢牢记住其体系结构图，Mysql是由SQL接口，解析器，优化器，缓存，存储引擎组成的

1 Connectors指的是不同语言中与SQL的交互

2 Management Serveices & Utilities： 系统管理和控制工具

3 Connection Pool: 连接池。

管理缓冲用户连接，线程处理等需要缓存的需求

4 SQL Interface: SQL接口。

接受用户的SQL命令，并且返回用户需要查询的结果。比如select from就是调用SQL Interface

5 Parser: 解析器。

SQL命令传递到解析器的时候会被解析器验证和解析。解析器是由Lex和YACC实现的，是一个很长的脚本。

主要功能：

a . 将SQL语句分解成数据结构，并将这个结构传递到后续步骤，以后SQL语句的传递和处理就是基于这个结构的
b. 如果在分解构成中遇到错误，那么就说明这个sql语句是不合理的

6 Optimizer: 查询优化器。

SQL语句在查询之前会使用查询优化器对查询进行优化。他使用的是“选取-投影-联接”策略进行查询。

用一个例子就可以理解： select uid,name from user where gender = 1;

这个select 查询先根据where 语句进行选取，而不是先将表全部查询出来以后再进行gender过滤

这个select查询先根据uid和name进行属性投影，而不是将属性全部取出以后再进行过滤

将这两个查询条件联接起来生成最终查询结果

7 Cache和Buffer： 查询缓存。

如果查询缓存有命中的查询结果，查询语句就可以直接去查询缓存中取数据。

这个缓存机制是由一系列小缓存组成的。比如表缓存，记录缓存，key缓存，权限缓存等

8 Engine ：存储引擎。

存储引擎是MySql中具体的与文件打交道的子系统。也是Mysql最具有特色的一个地方。

Mysql的存储引擎是插件式的。它根据MySql AB公司提供的文件访问层的一个抽象接口来定制一种文件访问机制（这种访问机制就叫存储引擎）

现在有很多种存储引擎，各个存储引擎的优势各不一样，最常用的MyISAM,InnoDB,BDB

默认下MySql是使用MyISAM引擎，它查询速度快，有较好的索引优化和数据压缩技术。但是它不支持事务。

InnoDB支持事务，并且提供行级的锁定，应用也相当广泛。
Mysql也支持自己定制存储引擎，甚至一个库中不同的表使用不同的存储引擎，这些都是允许的。

三、物理文件组成

mysql的物理文件包括三块：

1）日志文件

1-1）Error log 错误日志：记录遇到的所有严重的错误信息、每次启动关闭的详细信息；

1-2）Binary log 二进制日志：也就是binlog，记录所有修改数据库的操作；

1-3）Query log 查询日志：记录所有查询操作，体积较大，开启后对性能有影响；

1-4）Slow Query log 慢查询日志：记录所有执行时间超过long_query_time的sql语句和达到min_examined_row_limit条距离的语句；

1-5）InnoDB redo log：记录InnoDB所做的物理变更和事务信息；
　　1-6）中继日志：主从复制产生，用于slave机读取，复制master机的sql操作。

2）数据文件

2-1）.frm文件：表结构定义信息

2-2）.MYD文件：MyISAM引擎的数据文件；

2-3）.MYI文件：MyISAM引擎的索引文件；

2-4）.ibd文件和.ibdata文件：InnoDB的数据和索引；.ibdata配置为共享表空间时使用，.ibd配置为独享表空间时使用；

3）其它文件

3-1）系统配置文件：/etc/my.cnf

3-2) pid文件：存储自己的进程ID

3-3）socket文件：连接客户端使用

四、sql逻辑模块组成

mysql逻辑架构采用sql层和存储引擎分离的方式，实现了数据存储和逻辑业务的分离。宏观上可以分为三层：

1）连接处理层

2）分析、缓存处理层

3）优化器层

事实上sql层又可以细化为很多的子模块：

1）初始化模块：数据库启动时，对数据库的初始化操作；

2）核心API模块：底层操作的优化功能；

3）网络交互模块：对外提供可接收发送数据的API接口；

4）服务器客户端交互协议模块：实现客户端服务端的交互协议；

5）用户模块：控制用户连接登录和授权；

6）访问控制模块：监控用户的每一个操作，依赖于用户模块；

7）连接管理、连接线程和线程管理模块：监听和管理与客户端连接的线程；

8）转发模块：将请求转发到对应的处理模块；

9）缓存模块：将查询请求的结果缓存，提高性能；

10）优化器模块：根据查询请求计算提高查询访问速度的优化策略，根据最优策略返回查询语句；

11）表变更模块：DML和DDL的语句处理；

12）表维护模块：检测表状态、分析、优化表结构、修复表；

13）系统状态管理模块：将各种状态数据返回，如：show status;

14）表管理器：维护系统生成的表文件如：.frm文件.ibd文件…将表结构的信息缓存，另外该模块还管表级别的锁；

15）日志记录模块：负责整个数据库逻辑层的日志文件；

16）复制模块：分为Master模块和Slave模块；Master模块负责复制binary文件，并与Slave端I/O线程交互；Slave模块主要负责从Master端接收binary日志，并写入本地I/O线程，以及从relay log文件中读取日志，解析成Slave端执行的命令，交给Slave端的SQL线程处理；

17）存储引擎接口模块：实现了底层存储引擎插件式管理，将数据处理高度抽象化；

五、sql逻辑模块协调工作

如图：

1）mysql启动以后，初始化模块就从系统配置文件中读取系统参数和命令参数，初始化整个系统，同时存储引擎也会启动；

2）初始化结束后，连接管理模块会监听客户端的连接请求，并将连接请求转发给线程管理模块去请求一个连接线程；

3）线程模块接到请求后会调用用户模块进行授权检查，通过授权以后会检查是否又空闲线程，如果有取出并与客户端连接，如果没有则新建立建立一个线程与客户端连接；

4）mysql请求分为两种，一种是需要命令解析和分发才能执行，另一种可以直接执行；不管哪种，如果开启了日志，那么日志模块会记录日志；

5）如果是Query类型的请求，会将控制权交给Query解析器，Query解析器检查是否Select类型，如果是则启动查询缓存模块，如果缓存命中则将缓存数据返回给连接线程模块，连接线程将数据传递到客户端；如果没有缓存或者不是一个可以缓存的查询，此时解析器会进行相应的处理，通过查询分发器给相关的处理模块；

6）如果解析器结果是DML/DDL，则交给变更模块；如果是检查、修复的查询交给表维护模块，如果是一条没有被缓存的语句，则交给查询优化器模块。实际上表变更模块又分为若干小模块，例如：insert处理器、delete处理器、update处理器、create处理器，以及alter处理器这些小模块来负责不同的DML和DDL。总之，查询优化器、表变更模块、表维护模块、复制模块、状态模块都是根据命令解析器的结果不同而分发给不同的类型模块，最后和存储引擎进行交互。

7）当一条命令执行完毕后，控制权都会还给连接线程模块，在上面各个模块处理过程中都依赖于核心API模块，比如：内存管理、文件I/O，字符串处理等。