一、SQL性能下降的原因
- 查询语句写得烂
- 索引失效
1)单值索引:create index idx_user_name on user(name);
2)复合索引:create index idx_user_nameEmail on user(name,email);
- 关联查询太多join(设计缺陷或不得已的需求)
- 服务器调优及各个参数设置(缓冲、线程等)
二、常见通用的Join查询
1.SQL语句执行顺序:
请移步这篇博客的第八点:https://blog.csdn.net/qq_42826747/article/details/106166907
2.JOIN图
1)内连接
2)左连接
3)右连接
4)全连接
三、索引简介
1.什么是索引
1)MySQL官方对索引的定义为:索引(Index)是帮助MySQL高效获取数据的数据结构(索引的本质是数据结构)
2)索引的目的在于提高查询效率,可以类比字典
3)可以简单的理解为‘排好序的快速查找数据结构
①详解(重要):MySQL 基础+高级篇- 数据库 -sql -尚硅谷P192
②结论:除了数据本身之外,数据库还维护着一个满足特定查找算法的数据结构,这些数据结构以某种方式指向数据,这样就可以在这些数据结构的基础上实现高级查找算法,这种数据结构就是索引
4)一般来说索引本身也很大,不可能全部存储在内存中,因此索引往往以索引文件的形式存储在磁盘上
5)我们平常所说的索引,如果没有特别指明,都是值B树(多路搜索树,并不一定是二叉的)结构组织的索引。 其中聚集索引,次要索引,覆盖索引,复合索引,前缀索引,唯一索引默认都是使用B+树索引,统称索引,当然,除了B+树索引,还有哈希索引(Hash index)等。
2.优势和劣势
1)优势
①查找:类似大学图书馆建数目索引,提高数据检索的效率,降低数据库的IO成本
②排序:通过索引对数据进行排序,降低数据排序的成本,降低了CPU的消耗
2)劣势
①实际上索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录,所以索引列也是要占用空间的
②虽然索引大大提高了查询速度,但是会降低更新表的速度,如读表进行INSERT,UPDATE和DELETE。因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件每次更新添加了索引列的字段,都会调整因为更新所带来的键值变化后的索引信息
③索引只是提高效率的一个因素,如果你的MySQL有大数据量的表,就需要花时间研究建立最优秀的索引,或优化查询条件
3.mysql索引分类
1)单值索引:即一个索引只包含一个列,一个表可以有对个单值索引
2)唯一索引:索引列的值必须唯一,但允许有空值
3)复合索引:一个索引包含多个列
4)基本语法:
①创建:
CREATE [UNIQUE] INDEX 索引名称 ON 表名(columnName(length));
ALTER 表名 ADD [UNIQUE] INDEX [索引名称] ON(columnName(length));
②删除:
DROP INDEX [索引名称] ON 表名
③查看:
SHOW INDEX FROM 表名
④使用ALTER
ALTER TABLE 表名 ADD PRIMARY KEY (column_list);
该语句添加一个主键,这意味着索引值必须是唯一的,且不能为null
ALTER TABLE 表名 ADD UNIQUE 索引名 (column_list);
这条语句创建唯一索引
ALTER TABLE 表名 ADD INDEX 索引名 (column_list);
这条语句创建普通索引
ALTER TABLE 表名 ADD FULLTEXT 索引名 (column_list);
这条语句指定了索引为FULLTEXT,用于全文索引
建议:一张表的索引最多不要超过5个
4.mysql索引结构
1)BTree索引
检索原理:
初始化介绍:
一刻B+树,浅蓝色的块我们称为一个磁盘块,可以看到每个磁盘块包含几个数据项(深蓝色所示)和指针(黄色所示),如磁盘块1包含数据项17和35,包含指针P!,P2,P3,P1,表示小于17的磁盘块,P2表示17和35之间的磁盘块,P3表示大于35的磁盘块。
真实的数据存放于叶子结点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。
非叶子结点不存储真实的数据,只存储指引搜索方向的数据项,如17、35并不真实存在于数据表中。
真实的情况是,3层的B+树可以表示上百万的数据,如果上百万的数据查找只需要3次IO,性能提高将是巨大的,如果没有索引,每个数据项都要发生一次IO,那么总共需要百万次的IO,显然成本非常的高
2)Hash索引
3)full-text全文索引
4)R-Tree索引
5.那些情况需要创建索引
1)主键自动建立唯一索引
2)频繁作为查询条件的字段应该创建索引
3)查询中与其他表关联的字段,外键关系建立索引
4)单键/组合索引的选择问题,(在高并发的倾向下创建组合索引)
5)查询中排序的字段,排序字段若通过索引去访问将大大提高排序速度
6)查询中统计或者分组字段
6.那些情况不要创建索引
1)表记录太少
2)经常增删改的表
3)数据重复且分布平均的表字段
4)频繁更新的字段不适合创建索引:因为每次更新不仅要更新记录还要更新索引
5)Where条件里用不到的字段不创建索引
四、性能分析
1. MySql Query Optimizer
MySQL自带的查询优化器
2. MySQL常见瓶颈
1)CPU:CPU在饱和的时候一般发生在数据装入内存或从磁盘读取数据的时候
2)IO:磁盘I/O瓶颈发生在装入数据远大于内存容量的时候
3)服务器硬件的性能瓶颈:top,free,iostat和vmstat来查看系统的性能状态
3. Explain
1)是什么(查看执行计划)
使用EXPLAIN关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈
2)能干嘛
- 表的读取顺序 ——id
- 数据读取操作的操作类型——select_type,type
- 哪些索引可以使用——possible_keys
- 哪些索引实际被使用——key,ref
- 表之间的引用——table
- 每张表有多少行被优化器查询——rows
3)怎么玩
explain SQL语句;
例子:
EXPLAIN SELECT * FROM tbl_emp;
4)各字段解释
具体介绍推荐查看:MySQL 基础+高级篇- 数据库 -sql -尚硅谷p200
①id:select查询的序列号,包含一组数字,表示查询中执行的select子句或表的操作顺序
共有3中情况
- id相同,执行顺序从上到下
- id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行
- id相同不同,同时存在
②select_type:查询的类型,主要是用于区别普通查询、联合查询、子查询等复杂查询
id | select_type | 说明 |
---|---|---|
1 | SIMPLE | 简单的select查询,查询中不包含子查询或UNION |
2 | PRIMARY | 查询中若包含任何复杂的子部分,最外层查询 则被标记为 |
3 | SUBQUERY | 在SELECT或WHERE列表中包含了子查询 |
4 | DERIVED | 在FROM列表中包含的子查询被标记为DERIVED(衍生),MySQL会递归执行这些子查询,把结果放在临时表中 |
5 | UNION | 若第二个SEELCT出现在UNION之后,则标记为UNION;若UNION包含在FROM子句的子查询中,外层SELECT将被标记为:DERIVED |
6 | UNION RESULT | 从UNION表获取结果的SELECT |
③table:表示查询数据来源于那个表
④type:访问类型,显示查询使用了何种类型
从最好到最差依次是:system>const>eq_ref>ref>range>index>ALL
一般来说,得保证查询至少达到range级别,最好能达到ref
type | 说明 |
---|---|
system | 表只有一行记录 (等于系统表),这是const类型的特例,平时不会出现,可以忽略不计 |
const | 表示通过索引一次就找到了,const用于比较primary key或者unique索引,因为只匹配一行数据 ,所以很快,如将主键置于where列表中,MySQL就能将该查询转换为一个常量 |
eq_ref | 唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配 。常见于主键或唯一索引扫描 |
ref | 非唯一性索引扫描,返回匹配某个单独值的所有行 ,可能会找到多个符合条件的行,所以属于查找和扫描的混合体 |
range | 只检索给定范围的行 ,使用一个索引来选择行。key列显示使用了哪个索引,一般就是在where语句中出现了between、<、>、in等的查询,好处在于不用扫描全部索引 |
index | Full Index Scan,index和ALL区别为index类型只遍历索引树 ,这通常比索引树快,因为索引树通常比数据文件小(也就是说虽然两者都是读全表,但index是从索引中读取,而ALL是从硬盘中读取) |
ALL | Full Table Scan 将遍历全表 以找到匹配的行 |
NULL |
⑤possible_keys:显示可能应用在这张表中的索引
查询涉及到的字段若存在索引,则该索引将被列出,但不一定被查询实际使用
⑥key:查询实际使用到的索引
实际使用的索引。如果为NULL,则没有使用索引。
查询中若使用了覆盖索引,则该索引仅出现在key列表中
覆盖索引:(索引覆盖)
理解方式一:就是select的数据列只需要从索引中就能够获取,不必读取数据行,MySQL可以利用索引返回select列表中的字段,而不必根据索引再次读取数据文件,换句话说,
查询列被所建的索引覆盖
理解方式二:索引是一个高效找到行的一个方法,但是一般数据库也能使用索引找到一个列的数据,因此他不必读取整个行。毕竟索引叶子节点存储了它们索引的数据;当能通过读取索引就可以得到想要的数据,那就不需要读取行了。一个索引包含了(或覆盖了)满足查询结果的数据就叫做覆盖索引
⑦key_len:表示索引中使用的字节数。
- 可通过该列计算查询中使用的索引的长度。在不损失精度的情况下,长度越短越好。
- key_len显示的值为索引字段的最大可能长度,
并非实际使用长度
,即key_len是根据表定义计算得到的,不是通过表内检索出的。
⑧ref:显示索引的哪一列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查找索引列上的值
⑨rows:根据表统计信息及索引选用情况,大致估算出找到所需记录所需要读取的行数
⑩extra:包含不适合在其他列中显示但十分重要的额外信息、
额外信息 | 说明 |
---|---|
Using filesort | 说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成的排序操作称为“文件排序”出现这种情况说明九死一生 |
Using temporary | 使用了临时表保存中间结果,MySQL在对查询结果排序时使用临时表。常见于order by 和group by出现这种情况说明十死无生 因此,建立索引后,group by或order by尽量要与索引保持一致 |
Using index | 表示相应的select操作中使用了覆盖索引,避免了表的数据行,效率不错!出现这种情况说明发了! |
Using where | 使用了where过滤 |
Using join buffer | 使用了连接缓存 |
impossible where | where子句的值总是false,不能用来获取任何元组 |
select tables optimized away | 在没有group by子句的情况下,基于索引优化MIN/MAX操作或者对于MyISAM存储引擎优化COUNT(*)操作,不必等到执行阶段再进行计算,查询执行计划生成的阶段即完成优化 |
distinct | 优化distinct操作,在找到第一个匹配的元组后即停止找同样值的动作 |
5)热身Case
SQL语句执行的顺序:4 - 3 - 2 - 1 - NULL
五、索引优化
1.索引分析
1)单表
MySQL高级篇(高阳)建表sql语句大全
教程视频链接
单表案例总结:range类型查询字段后面的索引失效
案例:
1.查询category_id为1且comments>1的情况下,views最多的atricle_id
EXPLAIN SELECT id,author_id FROM article WHERE category_id = 1 AND comments > 1 ORDER BY views DESC LIMIT 1;
2)双表
MySQL高级篇(高阳)建表sql语句大全
教程视频链接
双表案例总结:
- 由左连接的特性决定,LEFT JOIN 条件用于确定如何从右表搜索行,左边的表的值一定都有,所以右边是我们的关键点,一定要建立索引
- 由右连接的特性决定,RIGHT JOIN 条件用于确定如何从左表搜索行,右边的表的值一定都有,所以左边是我们的关键点,一定要建立索引
3)三表
MySQL高级篇(高阳)建表sql语句大全
教程视频链接
结论:
- 尽可能减少Join语句中的NestedLoop的循环总次数,“永远用小结果集驱动大的结果集”
- 优先优化NestedLoop的内层循环
- 保证Join语句中被驱动表上Join条件字段已经被索引
- 当无法保证被驱动表的Join条件字段被索引且内存资源充足的前提下,不要太吝啬JoinBuffer的设置
2.索引失效(应该避免)
建表
MySQL高级篇(高阳)建表sql语句大全链接:https://blog.csdn.net/qq_42826747/article/details/106674270
测试案例所用数据库
1)全值匹配我最爱
2)最佳左前缀法则
(带头大哥不能丢【火车头】)
如果索引了多列(复合索引),要遵守最佳左前缀法则。指的是查询从索引的最左前列开始
并且不跳过索引中的列
3)不要在索引列上做任何操作,(计算、函数、(自动或手动)类型转换)会导致索引失效而转向全表扫描
4)存储引擎不能使用索引中范围条件右边的列
5)尽量使用覆盖索引(只访问索引的查询(索引列与查询列一致)),减少select *
6)mysql在使用不等于(!=或者<>)的时候无法使用索引会导致全表扫描
7)is null,is not null 也无法使用索引
8)like以通配符开头(’%abc…’)mysql索引失效会变成全表扫描的操作
问题:解决like ‘%字符串%’ 是索引不被使用的方法?
使用覆盖索引:https://www.bilibili.com/video/BV12b411K7Zu?p=218
9)字符串不加单引号索引失效
10)少用or,用它来连接时索引会失效
11)小总结
口诀:
全值匹配我最爱,最左前缀要遵守
带头大哥不能死,中间兄弟不能断
索引列上无计算,范围之后全失效
LIKE百分写最右,覆盖索引不写星
不等空值还有Or,索引失效要少用
12).索引面试题讲解
建表:MySQL高级篇(高阳)建表sql语句大全链接:https://blog.csdn.net/qq_42826747/article/details/106674270
3. 一般性建议
- 对于单键索引,尽量选择针对当前query过滤性更好的索引
- 在选择组合索引的时候,当前Query中过滤性最好的字段在索引字段顺序中,位置越靠左越好
- 在选择组合索引的时候,尽量选择能够包含当前query中where子句中更多字段的索引
- 尽可能通过分析统计信息和调整query的写法来达到选择适合索引的目的