【MySQL架构】01 SQL语句执行过程

目录

• 1. MySQL 总体架构
• 2. MySQL & SQL语句执行过程
  • 2.1. SQL语句 解析过程：
    • 2.1.1. 总体执行流程
    • 2.1.2. 查询执行流程
  • 2.2. 执行顺序 – 逻辑执行计划
    • 2.2.1. 解析与执行 顺序
    • 2.2.2. MySQL解析器 – lex + yacc
      • 2.2.2.1. 概述
      • 2.2.2.2. yacc 解析器
  • 2.3. 执行 – 物理实现过程
• 3. 执行计划 终止原因
  • 3.1. 查询结果/语句不会被缓存的情况
• 4. 补充知识

---

1. MySQL 总体架构

• MySQL 总体架构 概览：
  

参考：

1. 从Mysql源代码角度分析一句简单sql的查询过程 //重要

---

2. MySQL & SQL语句执行过程

参考：

1. 自己实现一个SQL解析引擎　　　//sql语句　解析过程；
2. 步步深入：MySQL架构总览->查询执行流程->SQL解析顺序　　//重要；
3. Sql语句的执行原理-MySQL 　　//sql语句的执行过程；

2.1. SQL语句 解析过程：

2.1.1. 总体执行流程

1. 总体执行过程

   1. 应用程序把查询SQL语句发送给服务器端执行；
   2. 查询缓存；
   3. 查询优化处理，生成执行计划；
   4. Mysql根据相应的执行计划完成整个查询（此处的执行计划是一个数据结构）；
   5. 将查询结果返回客户端；

2. 语句执行过程

   1. SQL执行过程包括以下阶段：

      词法分析 -> 语法分析 -> 语义分析 -> 执行计划优化 -> 执行
      // 词法分析->语法分析 这两个阶段我们称之为 硬解析。
      

   2. 词法分析识别sql中每个词，语法分析解析SQL语句是否符合sql语法，并得到一棵 语法树 Lex。对于只是参数不同，其他均相同的sql，它们执行时间不同但硬解析的时间是相同的。

   参考：

   1. mysql 中prepare statement（预处理）

2.1.2. 查询执行流程

下面再向前走一些，容我根据自己的认识说一下查询执行的流程是怎样的：

1. 连接

   1.1 客户端发起一条Query请求，监听客户端的‘连接管理模块’接收请求
   1.2 将请求转发到‘连接进/线程模块’
   1.3 调用‘用户模块’来进行授权检查
   1.4 通过检查后，‘连接进/线程模块’从‘线程连接池’中取出空闲的被缓存的连接线程和客户端请求对接，如果失败则创建一个新的连接请求
   

2. 处理

   2.1先查询缓存，检查Query语句是否完全匹配，接着再检查是否具有权限，都成功则直接取数据返回
   2.2上一步有失败则转交给‘命令解析器’，经过词法分析，语法分析后生成解析树
   2.3接下来是预处理阶段，处理解析器无法解决的语义，检查权限等，生成新的解析树
   2.4再转交给对应的模块处理
   2.5如果是SELECT查询还会经由‘查询优化器’做大量的优化，生成执行计划
   2.6模块收到请求后，通过‘访问控制模块’检查所连接的用户是否有访问目标表和目标字段的权限
   2.7有则调用‘表管理模块’，先是查看table cache中是否存在，有则直接对应的表和获取锁，否则重新打开表文件
   2.8根据表的meta数据，获取表的存储引擎类型等信息，通过接口调用对应的存储引擎处理
   2.9上述过程中产生数据变化的时候，若打开日志功能，则会记录到相应二进制日志文件中
   

3. 结果

   3.1 Query请求完成后，将结果集返回给‘连接进/线程模块’
   3.2 返回的也可以是相应的状态标识，如成功或失败等
   3.3 ‘连接进/线程模块’进行后续的清理工作，并继续等待请求或断开与客户端的连接
   

4. 查询流程 示意图
   

• 总结

参考：

1. 步步深入：MySQL架构总览->查询执行流程->SQL解析顺序

---

2.2. 执行顺序 – 逻辑执行计划

2.2.1. 解析与执行 顺序

• SQL 解析顺序

  SELECT
  
  DISTINCT
    < select_list >
  FROM
      < left_table > < join_type >
  JOIN < right_table > ON < join_condition >
  WHERE
      < where_condition >
  GROUP BY
      < group_by_list >
  HAVING
      < having_condition >
  ORDER BY
      < order_by_condition >
  LIMIT < limit_number >
  

• 执行顺序

  FROM <left_table>
  ON <join_condition>
  <join_type> JOIN <right_table>
  WHERE <where_condition>
  GROUP BY <group_by_list>
  HAVING <having_condition>
  SELECT
  DISTINCT <select_list>
  ORDER BY <order_by_condition>
  LIMIT <limit_number>
  

  总的执行顺序：
  FROM > ON > JOIN > WHERE > GROUP BY > HAVING > SELECT > DISTINCT > UNION > ORDER BY > LIMIT

• 执行顺序 1

  • 语法树转为逻辑计划时各算子存在先后顺序。以select语句为例，执行的顺序为：
    FROM > WHERE > GROUP BY> HAVING > SELECT > DISTINCT > UNION > ORDER BY > LIMIT。
  • 没有优化的逻辑计划应按照上述顺序逐步生成或者逆向生成。转为逻辑计划算子则对应为：
    JOIN –> FILTER -> GROUP -> FILTER(HAVING) -> PROJECTION -> DIST -> UNION -> SORT -> LIMIT。

2.2.2. MySQL解析器 – lex + yacc

2.2.2.1. 概述

1. 解析过程
   

2. 解析器：

   1. mysql是使用了开始的bison(即yacc的开源版)作为sql语法解析器；

MySQL解析器（lex+yacc）；
？？MySQL使用bison作为其解析SQL语句的语法分析器.

2.2.2.2. yacc 解析器

yacc
bison

参考：

1. MySQL内核源码解读-SQL解析一　　//Bison
2. 从Mysql源代码角度分析一句简单sql的查询过程 //重要

---

2.3. 执行 – 物理实现过程

• 底层原理
  

---

3. 执行计划 终止原因

3.1. 查询结果/语句不会被缓存的情况

1. 如果表上有任何锁，对这个表的任何查询语句都是无法被缓存的。
2. 查询语句中有一些不确定的数据。如now（）。
3. 有用户自定义函数、用户变量不会被缓存。
4. 包含任何不确定函数的语句。
5. 当查询的结果大于缓存大小时，结果不会被缓存

---

4. 补充知识

---