七、MySQL高级—索引优化分析（2.1）

Daniel521-Spark

已于 2024-09-06 23:32:54 修改

阅读量861

点赞数 22

分类专栏： # 计算机（Java高级）高级阶段文章标签： mysql 数据库

于 2024-09-05 22:36:26 首次发布

本文链接：https://blog.csdn.net/weixin_42171159/article/details/141907352

版权

计算机（Java高级）高级阶段专栏收录该内容

10 篇文章 0 订阅

订阅专栏

🌻🌻 目录

一、性能下降SQL慢执行时间长等待时间长
二、SQL预热：常见通用的Join查询
2.1 Join图
2.2 建表SQL
2.3 7 种JOIN

三、索引简介
3.1 是什么
3.2 优势
3.3 劣势
3.4 mysql索引结构
3.4.1 BTree索引
3.4.2 B+Tree索引
3.4.3 聚簇索引与非聚簇索引

3.5 mysql索引分类
3.5.1 单值索引
3.5.2 唯一索引
3.5.3 主键索引
3.5.4 复合索引
3.5.5 基本语法

3.6 哪些情况需要创建索引
3.7 哪些情况不要创建索引

文章大纲 👇👇

在这里插入图片描述

一、性能下降SQL慢执行时间长等待时间长

① 数据过多

达到500万（MySQL单表瓶颈500万），可分库分表

② 关联了太多的表，太多join

SQL优化

③ 没有充分利用到索引

索引建立（创建表就可以设定，如主键）

④ 服务器调优及各个参数设置

调整my.cnf

二、SQL预热：常见通用的Join查询

2.1 Join图

在这里插入图片描述

2.2 建表SQL

在这里插入图片描述

CREATE TABLE `t_dept` (
	 `id` INT(11) NOT NULL AUTO_INCREMENT,
	 `deptName` VARCHAR(30) DEFAULT NULL,
	 `address` VARCHAR(40) DEFAULT NULL,
	 PRIMARY KEY (`id`)
) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
 
CREATE TABLE `t_emp` (
	 `id` INT(11) NOT NULL AUTO_INCREMENT,
	 `name` VARCHAR(20) DEFAULT NULL,
	 `age` INT(3) DEFAULT NULL,
	 `deptId` INT(11) DEFAULT NULL,
	  empno INT  NOT NULL,
	  PRIMARY KEY (`id`),
	  KEY `idx_dept_id` (`deptId`)
 #CONSTRAINT `fk_dept_id` FOREIGN KEY (`deptId`) REFERENCES `t_dept` (`id`)
) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
 
 
INSERT INTO t_dept(deptName,address) VALUES('华山','华山');
INSERT INTO t_dept(deptName,address) VALUES('丐帮','洛阳');
INSERT INTO t_dept(deptName,address) VALUES('峨眉','峨眉山');
INSERT INTO t_dept(deptName,address) VALUES('武当','武当山');
INSERT INTO t_dept(deptName,address) VALUES('明教','光明顶');
INSERT INTO t_dept(deptName,address) VALUES('少林','少林寺');
 
INSERT INTO t_emp(NAME,age,deptId,empno) VALUES('风清扬',90,1,100001);
INSERT INTO t_emp(NAME,age,deptId,empno) VALUES('岳不群',50,1,100002);
INSERT INTO t_emp(NAME,age,deptId,empno) VALUES('令狐冲',24,1,100003);
INSERT INTO t_emp(NAME,age,deptId,empno) VALUES('洪七公',70,2,100004);
INSERT INTO t_emp(NAME,age,deptId,empno) VALUES('乔峰',35,2,100005);
INSERT INTO t_emp(NAME,age,deptId,empno) VALUES('灭绝师太',70,3,100006);
INSERT INTO t_emp(NAME,age,deptId,empno) VALUES('周芷若',20,3,100007);
INSERT INTO t_emp(NAME,age,deptId,empno) VALUES('张三丰',100,4,100008);
INSERT INTO t_emp(NAME,age,deptId,empno) VALUES('张无忌',25,5,100009);
INSERT INTO t_emp(NAME,age,deptId,empno) VALUES('韦小宝',18,NULL,100010);

2.3 7 种JOIN

① 所有有门派的人员信息（ A、B两表共有）
② 2.列出所有用户，并显示其机构信息（A的全集）
③ 列出所有门派（B的全集）
④ 所有不入门派的人员（A的独有）
⑤所有没人入的门派（B的独有）
⑥列出所有人员和机构的对照关系(AB全有)
⑦列出所有没入派的人员和没人入的门派（A的独有+B的独有）

#1.所有有门派的人员信息 （ A、B两表共有）

SELECT * FROM t_emp e INNER JOIN t_dept d ON e.deptId = d.id

#2.列出所有用户，并显示其机构信息 （A的全集）

SELECT * FROM t_emp e LEFT JOIN t_dept d ON e.deptId = d.id

#3.列出所有门派 （B的全集）

SELECT * FROM t_dept

#4.所有不入门派的人员 （A的独有）

SELECT * FROM t_emp e LEFT JOIN t_dept d ON e.deptId = d.id WHERE d.id IS NULL;
SELECT * FROM t_dept d RIGHT JOIN t_emp e ON e.deptId = d.id WHERE d.id IS NULL;

#5.所有没人入的门派 （B的独有）

SELECT * FROM t_dept d LEFT JOIN t_emp e ON e.deptId = d.id WHERE e.id IS NULL;
SELECT * FROM t_emp e RIGHT JOIN t_dept d ON e.deptId = d.id WHERE e.id IS NULL;

#6.列出所有人员和机构的对照关系(AB全有)
#MySQL Full Join的实现 因为MySQL不支持FULL JOIN,下面是替代方法
#left join + union(可去除重复数据)+ right join
SELECT e.*,d.* FROM t_emp e LEFT JOIN t_dept d ON e.deptId = d.id
UNION
SELECT e.*,d.* FROM t_dept d LEFT JOIN t_emp e ON e.deptId = d.id

#7.列出所有没入派的人员和没人入的门派（A的独有+B的独有）

SELECT e.*,d.* FROM t_emp e LEFT JOIN t_dept d ON e.deptId = d.id WHERE d.id IS NULL
UNION 
SELECT e.*,d.* FROM t_dept d LEFT JOIN t_emp e ON e.deptId = d.id WHERE e.id IS NULL;

增加掌门字段

ALTER TABLE `t_dept` 
add  CEO  INT(11)  ;
 
update t_dept set CEO=2 where id=1;
update t_dept set CEO=4 where id=2;
update t_dept set CEO=6 where id=3;
update t_dept set CEO=8 where id=4;
update t_dept set CEO=9 where id=5;

在这里插入图片描述

① 求各个门派对应的掌门人名称
② 求所有当上掌门人的平均年龄
③ 求所有人物对应的掌门名称（四种如截图）

#1.求各个门派对应的掌门人名称:

SELECT * FROM t_emp e INNER JOIN t_dept d ON  e.id = d.CEO

#2.求所有当上掌门人的平均年龄:

SELECT AVG(e.age) FROM t_emp e INNER JOIN t_dept d ON  e.id = d.CEO

#3.求所有人物对应的掌门名称:

SELECT e.name,c.name ceoname FROM t_emp e 
LEFT JOIN t_dept d ON e.deptId = d.id
LEFT JOIN t_emp c ON c.id = d.CEO

在这里插入图片描述

思考：如何快速的将100万条数据插入表中？

三、索引简介

3.1 是什么

在这里插入图片描述

① MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的数据结构。
可以得到索引的本质：索引是数据结构。

索引的目的在于提高查询效率，可以类比字典，
如果要查“mysql”这个单词，我们肯定需要定位到m字母，然后从上往下找到y字母，再找到剩下的sql。
如果没有索引，那么你可能需要a----z，如果我想找到Java开头的单词呢？或者Oracle开头的单词呢？
是不是觉得如果没有索引，这个事情根本无法完成？

你可以简单理解为“排好序的快速查找数据结构”。

② 详解(重要)介绍：

在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，
这样就可以在这些数据结构上实现高级查找算法。这种数据结构，就是索引。下图就是一种可能的索引方式示例：

在这里插入图片描述

左边是数据表，一共有两列七条记录，最左边的是数据记录的物理地址，为了加快Col2的查找，可以维护一个右边所示的二叉查找树，每个节点分别包含索引键值和一个指向对应数据记录物理地址的指针，这样就可以运用二叉查找在一定的复杂度内获取到相应数据，从而快速的检索出符合条件的记录。
结论:数据本身之外，数据库还维护着一个满足特定查找算法的数据结构，这些数据结构以某种方式指向数据，这样就可以在这些数据结构的基础上实现高级查找算法，这种数据结构就是索引。

③ 一般来说索引本身也很大，不可能全部存储在内存中，因此索引往往以索引文件的形式存储的磁盘上

3.2 优势

类似大学图书馆建书目索引，提高数据检索的效率，降低数据库的IO成本
通过索引列对数据进行排序，降低数据排序的成本，降低了CPU的消耗

3.3 劣势

虽然索引大大提高了查询速度，同时却会降低更新表的速度，如对表进行INSERT、UPDATE和DELETE。因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件每次更新添加了索引列的字段，都会调整因为更新所带来的键值变化后的索引信息
实际上索引也是一张表，该表保存了主键与索引字段，并指向实体表的记录，所以索引列也是要占用空间的。

3.4 mysql索引结构

3.4.1 BTree索引

① 原理图

在这里插入图片描述

【初始化介绍】

一颗b树，浅蓝色的块我们称之为一个磁盘块，可以看到每个磁盘块包含几个数据项（深蓝色所示）和指针（黄色所示），如磁盘块1包含数据项17和35，包含指针P1、P2、P3，P1表示小于17的磁盘块，P2表示在17和35之间的磁盘块，P3表示大于35的磁盘块。真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。非叶子节点只不存储真实的数据，只存储指引搜索方向的数据项，如17、35并不真实存在于数据表中。

【查找过程】

如果要查找数据项29，那么首先会把磁盘块1由磁盘加载到内存，此时发生一次IO，在内存中用二分查找确定29在17和35之间，锁定磁盘块1的P2指针，内存时间因为非常短（相比磁盘的IO）可以忽略不计，通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存，发生第二次IO，29在26和30之间，锁定磁盘块3的P2指针，通过指针加载磁盘块8到内存，发生第三次IO，同时内存中做二分查找找到29，结束查询，总计三次IO。
真实的情况是，3层的b+树可以表示上百万的数据，如果上百万的数据查找只需要三次IO，性能提高将是巨大的，如果没有索引，每个数据项都要发生一次IO，那么总共需要百万次的IO，显然成本非常非常高。

② 关于时间复杂度

同一问题可用不同算法解决，而一个算法的质量优劣将影响到算法乃至程序的效率。算法分析的目的在于选择合适算法和改进算法。

在这里插入图片描述

3.4.2 B+Tree索引

① 原理图

在这里插入图片描述

② B树和B+树的区别

B+Tree与B-Tree 的区别
1）B-树的关键字和记录是放在一起的，叶子节点可以看作外部节点，不包含任何信息；B+树的非叶子节点中只有关键字和指向下一个节点的索引，记录只放在叶子节点中。
2）在B-树中，越靠近根节点的记录查找时间越快，只要找到关键字即可确定记录的存在；而B+树中每个记录的查找时间基本是一样的，都需要从根节点走到叶子节点，而且在叶子节点中还要再比较关键字。从这个角度看B-树的性能好像要比B+树好，而在实际应用中却是B+树的性能要好些。因为B+树的非叶子节点不存放实际的数据，这样每个节点可容纳的元素个数比B-树多，树高比B-树小，这样带来的好处是减少磁盘访问次数。尽管B+树找到一个记录所需的比较次数要比B-树多，但是一次磁盘访问的时间相当于成百上千次内存比较的时间，因此实际中B+树的性能可能还会好些，而且B+树的叶子节点使用指针连接在一起，方便顺序遍历（例如查看一个目录下的所有文件，一个表中的所有记录等），这也是很多数据库和文件系统使用B+树的缘故。

思考：为什么说B+树比B-树更适合实际应用中操作系统的文件索引和数据库索引？

B+树的磁盘读写代价更低

B+树的内部结点并没有指向关键字具体信息的指针。因此其内部结点相对B 树更小。如果把所有同一内部结点的关键字存放在同一盘块中，那么盘块所能容纳的关键字数量也越多。一次性读入内存中的需要查找的关键字也就越多。相对来说IO读写次数也就降低了。

B+树的查询效率更加稳定

由于非终结点并不是最终指向文件内容的结点，而只是叶子结点中关键字的索引。所以任何关键字的查找必须走一条从根结点到叶子结点的路。所有关键字查询的路径长度相同，导致每一个数据的查询效率相当。

3.4.3 聚簇索引与非聚簇索引

聚簇索引并不是一种单独的索引类型，而是一种数据存储方式。
术语‘聚簇’表示数据行和相邻的键值聚簇的存储在一起。
如下图，左侧的索引就是聚簇索引，因为数据行在磁盘的排列和索引排序保持一致。

在这里插入图片描述

聚簇索引的好处：

按照聚簇索引排列顺序，查询显示一定范围数据的时候，由于数据都是紧密相连，数据库不不用从多个数据块中提取数据，所以节省了大量的io操作。

聚簇索引的限制：

对于mysql数据库目前只有innodb数据引擎支持聚簇索引，而Myisam并不支持聚簇索引。
由于数据物理存储排序方式只能有一种，所以每个Mysql的表只能有一个聚簇索引。一般情况下就是该表的主键。
为了充分利用聚簇索引的聚簇的特性，所以innodb表的主键列尽量选用有序的顺序id，而不建议用无序的id，比如uuid这种。

3.5 mysql索引分类

了解下,下节正式开干哦~

3.5.1 单值索引

① 即一个索引只包含单个列，一个表可以有多个单列索引。

② 语法

随表一起建索引：
CREATE TABLE customer (
	id INT(10) UNSIGNED  AUTO_INCREMENT ,
	customer_no VARCHAR(200),
	customer_name VARCHAR(200),
	PRIMARY KEY(id),
	KEY (customer_name)
);

在这里插入图片描述

SHOW INDEX FROM customer

单独建单值索引：
CREATE  INDEX idx_customer_name ON customer(customer_name); 
 
SHOW INDEX FROM customer

在这里插入图片描述

删除索引：
DROP INDEX idx_customer_name  on customer;

SHOW INDEX FROM customer

在这里插入图片描述

3.5.2 唯一索引

① 索引列的值必须唯一，但允许有空值

② 语法

随表一起建索引：
CREATE TABLE customer (
	id INT(10) UNSIGNED  AUTO_INCREMENT ,
	customer_no VARCHAR(200),
	customer_name VARCHAR(200),
	PRIMARY KEY(id),
	KEY (customer_name),
	UNIQUE (customer_no)
);

在这里插入图片描述

单独建唯一索引：
CREATE UNIQUE INDEX idx_customer_no ON customer(customer_no); 
 
SHOW INDEX FROM customer

在这里插入图片描述

删除索引：
DROP INDEX idx_customer_no on customer ;

SHOW INDEX FROM customer

在这里插入图片描述

3.5.3 主键索引

① 设定为主键后数据库会自动建立索引，innodb为聚簇索引

② 语法

随表一起建索引：
CREATE TABLE customer (
	id INT(10) UNSIGNED  AUTO_INCREMENT ,
	customer_no VARCHAR(200),
	customer_name VARCHAR(200),
	PRIMARY KEY(id) 
);
   
CREATE TABLE customer2 (
	id INT(10) UNSIGNED,
	customer_no VARCHAR(200),
	customer_name VARCHAR(200),
	PRIMARY KEY(id) 
);

在这里插入图片描述

 单独建主键索引：
ALTER TABLE customer 
add PRIMARY KEY customer(customer_no);

3.5.4 复合索引

① 即一个索引包含多个列

② 语法

随表一起建索引：
CREATE TABLE customer (
	id INT(10) UNSIGNED  AUTO_INCREMENT ,
	customer_no VARCHAR(200),
	customer_name VARCHAR(200),
	PRIMARY KEY(id),
	KEY (customer_name),
	UNIQUE (customer_name),
	KEY (customer_no,customer_name)
);
 
单独建索引：
CREATE  INDEX idx_no_name ON customer(customer_no,customer_name); 
 
删除索引：
DROP INDEX idx_no_name  on customer ;

3.5.5 基本语法

① 创建

CREATE  [UNIQUE ]  INDEX [indexName] ON table_name(column))

② 删除

DROP INDEX [indexName] ON mytable;

③ 查看

SHOW INDEX FROM table_name\G

④ 使用ALTER命令

有四种方式来添加数据表的索引：
ALTER TABLE tbl_name ADD PRIMARY KEY (column_list): 该语句添加一个主键，这意味着索引值必须是唯一的，且不能为NULL。
 
ALTER TABLE tbl_name ADD UNIQUE index_name (column_list): 这条语句创建索引的值必须是唯一的（除了NULL外，NULL可能会出现多次）。
 
ALTER TABLE tbl_name ADD INDEX index_name (column_list): 添加普通索引，索引值可出现多次。
 
ALTER TABLE tbl_name ADD FULLTEXT index_name (column_list):该语句指定了索引为 FULLTEXT ，用于全文索引。

3.6 哪些情况需要创建索引

主键自动建立唯一索引
频繁作为查询条件的字段应该创建索引
查询中与其它表关联的字段，外键关系建立索引
单键/组合索引的选择问题，组合索引性价比更高
查询中排序的字段，排序字段若通过索引去访问将大大提高排序速度
查询中统计或者分组字段

3.7 哪些情况不要创建索引

表记录太少
经常增删改的表或者字段

Why:提高了查询速度，同时却会降低更新表的速度，如对表进行INSERT、UPDATE和DELETE。
因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件

Where条件里用不到的字段不创建索引
过滤性不好的不适合建索引（例如性别男女）

Daniel521-Spark

关注

22
点赞
踩
14

收藏

觉得还不错? 一键收藏
打赏
0
评论
七、MySQL高级—索引优化分析（2.1）

①MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的数据结构。索引是数据结构。索引的目的在于提高查询效率，可以类比字典，如果要查“mysql”这个单词，我们肯定需要定位到m字母，然后从上往下找到y字母，再找到剩下的sql。如果没有索引，那么你可能需要a----z，如果我想找到Java开头的单词呢？或者Oracle开头的单词呢？是不是觉得如果没有索引，这个事情根本无法完成？你可以简单理解为“排好序的快速查找数据结构在数据之外，
复制链接

扫一扫