一个SQL的执行过程详解

上一篇：厌倦 VMware，试试更轻量级的虚拟机！

作者：猿来是八阿哥
链接：https://www.jianshu.com/p/e2926d6a808f

一个sql的执行过程

一、 组成部分

PDO_MYSQL is a driver that implements the PHP Data Objects (PDO) interface to enable access from PHP to MySQL databases.

• 客户端，如：php 的 pdo_mysql 扩展。

• MySQL 服务：

  • server 层，主要包含：连接器、查询缓存、解析器、预处理器、优化器、执行器等，涵盖 MySQL 的大多数核心服务功能，以及所有的内置函数（如日期、时间、数学和加密函数等）。所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图等

  • 存储引擎层，主要负责：数据的存储和提取。

二、 大概流程

• MySQL server 层的 连接器 对来自客户端的连接进行验证，包含：

  • `用户名密码` 或 `SSL 证书` 验证

  • `库-database`、`表-table`、`读写权限` 验证

• MySQL server 层的 查询缓存 对客户源原始SQL进行 缓存命中检测：命中则直接返回，未命中则进一步执行查询。

• MySQL server 层的 解析器 对查询语句进行解析，得到查询语句的 解析树。

• MySQL server 层的 预处理器 对 解析树 进一步验证。

• MySQL server 层的 优化器 将 解析树 转化为 执行计划。

• MySQL server 层的 执行器 通过 API 与底层的 存储引擎 进行交互，执行 执行计划。

• MySQL 存储引擎 层得到执行结果，返回给 MySQL server 层。MySQL server 层将结果交由 查询缓存 进行缓存，并返回给客户端

三、 查询缓存

• 关键逻辑：

  • 包含 `now()` `current_date()` 等日期函数

  • 包含 `用户自定义函数`、`存储函数` `用户变量` `临时表` 等

  • 涉及 mysql 数据库的表或者字段

  • `select * from user where id=1;`

  • `select * from user where id="1";`

  • `select username from user where id=1;`

  • `SELECT username FROM user WHERE id=1;`

  • `查询缓存` 缓存了 `执行计划` 的完整结果，当缓存命中时，直接返回缓存中的结果，从而跳过了 `解析-优化-执行` 的过程。

  • `查询缓存` 基于不变的表结构和表数据，`当表结构或表数据发生变化时，其表上的所有缓存都将失效`。

  • 搜索公众号互联网架构师回复“2T”，送你一份惊喜礼包。
    

  • `查询缓存` 可以理解将 `执行计划` 的结果缓存在 hashtable 中，key 是 `客户端发来的原始查询sql` 的 hash 值，因此：

  • 的 hash 值并不相同。即：`即使同一条SQL，如果大小写、空格、单引号、双引号、注释等不同，都会使用不同的缓存 key`

  • [结果不 set 缓存的情况] 当查询语句中包含以下情况是，查询结果不会被缓存：

  • 因为在 `查询缓存` 阶段，还没有进行 `解析器` 解析的工作，因此：`所有查询都会尝试去 get 缓存，但总是不命中`。

• 相关配置：

  • 如果查询结果比较大，超过了query_cache_min_res_unit的值，MySQL将一边检索结果，一边进行保存结果。

  • 根据自身情况设置合适的大小：太大会造成大量的 `内存碎片`，太小又需要 `频繁的申请内存`。

  • `have_query_cache`，当前的MYSQL版本是否支持“查询缓存”功能。

  • `query_cache_limit`，能够缓存的最大查询结果，查询结果大于该值时不会被缓存，默认值是 1MB

  • `query_cache_min_res_unit`，查询缓存分配的最小块（字节）。默认值是4096（4KB）。

  • `query_cache_size`，为缓存查询结果分配的总内存。

  • `query_cache_type`，默认为on，可以缓存除了以 `select sql_no_cache` 开头的所有查询结果。

  • `query_cache_wlock_invalidate`，如果该表被锁住，是否返回缓存中的数据，默认是关闭的。

• 优缺点：

  • 对于频繁变动（`修改表结构、新增、删除、修改数据`）的表，由于一旦 `变动` 就会清除该表的所有缓存，导致：命中率极低，每次SQL还增加了 `查询缓存` 的额外工作。

  • 搜索公众号互联网架构师回复“2T”，送你一份惊喜礼包。

  • 参与 hash 计算的是客户端发来的原始SQL，还未经过 `解析器` 解析，`完全一样` 的sql才能命中缓存。

  • `查询缓存` 实质上是缓存 `SQL的hash值` 和 `该SQL的查询结果`，省去了大量重复SQL查询的 `解析-优化-执行` 过程。

  • 优点：

  • 缺点：

四、 `解析器` 和 `预处理器`

解析器 和 预处理器 的工作主要包含：

• 对 原始SQL 进行语法解析，验证语法规则，如：

  • 关键字是否正确

  • 关键字顺序是否正确

  • 语句是否有语法错误，如：缺少逗号等

  • 得到 `语法解析树`

• 进一步验证 语法解析树，如：

  • 库、表是否存在

  • 字段、类型是否正确

  • 是否使用了禁止的关键字等

  • 调用函数、识别别名等

五、 优化器

• 优化器 是基于 Cost-Based Optimizer 模型，预估 每条执行方式的 成本，选择 成本最小 的执行方式，转化为 执行计划。

• 选择最优的执行方式 比较好使，优化器 维护了一个 执行计划缓存，当缓存命中时，直接使用上次的 执行计划。

• 每种执行方式的成本 cost 预估包含几个方面：

  • `io_cost`，对IO操作的成本预估

  • `cpu_cost`，对CPU操作的成本预估

  • `import_cost`，对远程操作的成本预估

  • `mem_cost`，对内存消耗的成本预估

• Cost-Based Optimizer 对复杂语句的 成本预估 会产生偏差，这时候就需要用到 我们 了，哈哈。

六、 存储引擎

具体的 执行计划 如何执行，依赖于各种不同的 存储引擎 的索引算法，如：

• B-Tree 从根节点开始，沿着向下的指针，找到存储了行数据位置的叶子节点，再判断是否满足 覆盖查询，访问行数据。

• Hash 则根据直接计算 hash 值，如果冲突，再遍历链表。

在此不再赘述，可转阅：MySQL之 B-Tree / B+Tree 索引

七、 结果返回客户端

MySQL将结果集返回给客户端是一个 增量、逐步返回 的过程。即：在查询生成第一条结果时，MySQL就可以开始向客户端逐步返回结果集了。

感谢您的阅读，也欢迎您发表关于这篇文章的任何建议，关注我，技术不迷茫！小编到你上高速。

    · END ·

最后，关注公众号互联网架构师，在后台回复：2T，可以获取我整理的 Java 系列面试题和答案，非常齐全。

正文结束

推荐阅读 ↓↓↓

1.心态崩了！税前2万4，到手1万4，年终奖扣税方式1月1日起施行~

2.深圳一普通中学老师工资单曝光，秒杀程序员，网友：敢问是哪个学校毕业的？

3.从零开始搭建创业公司后台技术栈

4.程序员一般可以从什么平台接私活？

5.清华大学：2021 元宇宙研究报告！

6.为什么国内 996 干不过国外的 955呢？

7.这封“领导痛批95后下属”的邮件，句句扎心！

8.15张图看懂瞎忙和高效的区别！