MySQL解析过程和执行过程

MySQL解析过程和执行过程

MySQL解析过程

• 首先客户端会发送一条查询到服务器；
• 服务器先检查查询缓存【在8.0版本中被取消】，如果命中了缓存则立刻返回缓存中的结果，否则进入下一阶段
• SQL语句进入解析器并生成语法树，对SQL语句进行检查【主要检查语法格式的正确性】，若检查不通过则返回You hava an error in your SQL syntax的错误
• SQL语句进入预处理器，主要用来检查表，表的列是否存在，若不存在则返回Unknown column xxx in 'where clause'的错误
• 之后对SQL语句进行权限检查【在预处理器中进行】
• SQL语句进入优化器，对SQL语句进行优化【例如对连接查询的优化】。优化之后优化器根据SQL生成执行计划并交给执行器
• 执行器通过执行计划的指令调用底层存储引擎来逐步执行【其中存储引擎实现了一系列抽象存储引擎的接口】。执行完毕之后将结果返回到客户端，若执行的SQL是SELECT类型的，则还会把结果存储到查询缓存中。

执行SQL的具体过程：

1. MySQL客户端和服务器进行通讯：
   MySQL客户端和服务器之间的通信是“半双工”的，即发送和接收不能同时发生，这种协议让MySQL通信简单快速，但是一个明显的限制就是流量限制，一端开始发送消息那么另一端需要接收完毕消息才可发送。
2. 查询状态：SHOW [FULL] PROCESSLIST
   查询生命周期中状态多变，主要的状态：
   a) sleep //线程正在等待客户端发送新的请求
   b) query //线程正在执行查询或正在将结果发送给客户端
   c) locked //在mysql服务器层，该线程正在等待表锁
   d) sending data //线程可能在多个状态间传送数据，或者在生成结果集，或者在向客户端返回数据
   e) …
3. 查询缓存
   查询缓存本质上是一张Hash表，它将执行过的语句及其结果会以key-value对的形式被直接缓存在内存中【key是一个通过查询SQL、当前要查询的数据库、客户端协议版本等生成的一个哈希值，value是查询结果】
   在解析一个查询语句之前，如果查询缓存是打开的，那么MySQL会优先检查这个查询是否会命中查询缓存中的数据。
   8.0版本取消掉查询缓存的原因：
   1. 只要对表进行更新，那么这个表上的查询缓存就都会被清空
   2. SQL任何字符上的不同【空格，注释等】都会导致缓存不命中
4. 解析器：
   将请求的SQL生成一颗语法树，例如：
   SELECT emp_id FROM employee
   先进行词法分析：从左到右将字符依次输入，然后识别单词，会得到4个token：

关键字	非关键字	关键字	非关键字
SELECT	emp_id	FROM	employee

之后进行语法分析：判断输入的SQL语句是否满足MySQL语法，然后生成语法树：

5. 预处理器
根据MySQL的规则进一步检查语法树【主要是对表是否存在，列是否存在，权限是否足够等进行检查】
6. 优化器
优化器的作用是找到最好的执行计划
执行计划;：MySQL不会生成查询字节码来执行查询，MySQL生成查询的一颗指令树，然后通过存储引擎执行完成这颗指令树并返回结果。
7. 查询执行引擎
这里的执行计划是一个数据结构，而不是和很多其他的关系型数据库那样对应的字节码。
在根据执行计划逐步执行的过程中有大量的操作需要通过调用存储引擎实现的接口方法。
8. 返回结果给客户端
查询执行的最后一个阶段是将结果返回给客户端。即使查询不需要返回结果给客户端，mysql仍然会返回这个查询的一些信息，如该查询影响到的行数。如果查询可以被缓存，那么mysql在这个阶段也会将结果放到查询缓存中。
mysql将结果集返回客户端是一个增量、逐步返回的过程。这样有两个好处：服务器端无须存储太多的结果，也就不会因为返回太多结果而消耗太多的内存；这样处理也让msyql客户端第一时间获得返回的结果。

MySQL执行过程

SQL是一套标准，全程结构化查询语言，是用来完成和数据库之间通信的编程语言，SQL语言是脚本语言，直接运行在数据库上，同时SQL语句与数据在数据库上的存储方式无关，只是不同的数据库对于同一条语句的底层实现不同罢了，但结果相同。
设有如下语句：
SELECT name,COUNT(name) AS num FROM student WHERE grade<60 GROUP BY 'name' HAVING num>=2 ORDER BY num DESC,name ASC LIMIT 0,2【查询出挂科数多余两门（含2门）的前两名学生的姓名，若挂科数一样则按照姓名升序排序】

1. 一条查询的SQL语句先执行的是FROM student负责把数据库的标文件加载到内存中去
2. WHERE grade<60
3. GROUP BY name
4. SELECT的执行读取规则分为sql语句中有无GROUP BY两种情况：
   1）当没有GROUP BY的时候，SELECT会根据后面的字段名称对内存中的一张临时表整列读取
   2）当查询SQL中有GROUP BY时，会对内存中的若干临时表分别执行SELECT，而且只取各临时表中的第一条记录，然后再形成新的临时表。这就决定了查询sql使用GROUP BY的场景下，SELECT后面跟的一般是参与分组的字段和聚合函数，否则查询出的数据要视情况而定。另外聚合函数中的字段可以是表中的任意字段，需要注意的是聚合函数会自动忽略空值。
5. HAVING num>=2对4形成的临时表中的数据再次进行过滤
   与WHERE语句不同的是HAVING 用在GROUP BY之后， WHERE是对FROM student从数据库表文件加载到内存中的原生数据过滤，而HAVING 是对SELECT 语句执行之后的临时表中的数据过滤。 但HAVING的后使用的字段只能是SELECT 后的字段，SELECT后没有的字段HAVING之后不能使用
6. ORDER BY num DESC
7. LIMIT 0,2