MySQL 的体系结构、引擎与索引

MySQL的引擎与体系结构

体系结构

连接层

最上层是一些客户端和链接服务,主要完成一些类似于连接处理、授权认证、及相关的安全方案。服务器也会为安全接入的每个客户端验证它所具有的操作权限

服务层

第二层架构主要完成大多数的核心服务功能,如SQL接口,并完成缓存的查询,SQL的优化和分析,部分内置函数的操作。所有跨存储引擎的功能也是在这一层实现的,如过程、函数等

引擎层

存储引擎真正的负责MySQL中个数据的存储与提取,服务器通过API和存储引擎进行通信,不同的存储引擎具有不同的功能,这样子我们也可以根据自己的需求,来选取合适的存储引擎

存储层

主要是将数据存储在文件系统之上,并完成与存储引擎的交互

存储引擎

存储引擎就是存储数据、建立索引、更新/查询数据等技术的实现方式,存储引擎是基于库的,所以存储引擎也可以被称为表类型

默认引擎-InnoDB

查看所有的引擎
show engines;

可以看到所有的引擎

image-20230223091416826

存储引擎的特点

InnoDB

InnoDB是一种兼顾高可靠性和高性能的通用存储引擎,在MySQL5.5版本之后,InnoDB是默认的MySQL的引擎。

特点
  • DML(增删改)操作支持ACID(原子性、一致性、隔离性、持久性)模型,支持事务
  • 行级锁,提高并发访问的性能
  • 支持外键(Foreign Key)约束,保证数据的完整性和正确性
文件

xxx.ibd:xxx代表的是表明,innoDB引擎的每张表都会对应着这样的一个表文件,存储该表的表结构(frm、sdi)、数据和索引,参数innodb_file_per_table 默认为no,表示每张表各自占用一个表空间,如果为yes表示多张表共用一个表空间

查看指令

-- 查看是共用多个表空间
show variables  like 'innodb_file_per_table';

image-20230223092537403

查看ibd文件:

我在本地系统中找到了自己库的文件

image-20230223092657145

但是这个文件是一个二进制文件没法直接查看,但是可以借助指令来进行一个查看

ibd2sdi 文件命.ibd

查看结果:

image-20230223092906120

可以直接看到表的全部信息以及字段信息

逻辑空间
  • TableSpace 表空间
  • Segment:段
  • Extent:区 区的大小是固定的,是1M, 可以包含64个页
  • Page:页 页是操作的最小单元,大小页是固定的,一个页16K
  • Row:行

image-20230223093129669

MyISAM

MyISAM是MySQL的早期默认存储引擎

特点

不支持事务,不支持外键

支持表锁,不支持行锁

访问速度快

文件

*.sdi:存储表结构信息

.MYD:存储数据

***.MYI **:存储索引

Memory

Memory引擎的表数据是存储在内存中的,由于受到硬件问题、断电问题的影响,只能将这些表作为临时表或者缓存使用

特点

内存存放

hash索引

文件

*.sdi:存储表结构信息

各个引擎的特点

特点InnoDBMyISAMMemory
存储限制64TB
事务安全支持--
锁机制行锁表锁表锁
B+tree索引支持支持支持
hash索引--支持
全文索引5.6之后支持支持-
空间使用
内存使用中等
批量插入速度
支持外键支持--

InnoDB与MyISAM:InnoDB支持事务、外键和行级锁

执行引擎的选择

  • InnoDB:是MySQL的,默认引擎,支持事务、外键,如果应用对事物的**完整性**有比较高的要求,在并发条件下要求数据的一致性,数据操作除了插入和查询外,还包含很多更新、删除操作,那么InnoDB存储引擎是比较合适的选择

  • MyISAM:如果应用是以读操作和插入操作为主,只有很少的更新和删除操作,并且对事物的完整性、并发性要求不是很高,那么选择这个存储引擎比较合适

  • Memory:将所有数据保存在内存中,访问速度快,通常用于临时表及缓存。Memory缺陷是对标的大小有限制,太大的表无法缓存在内存中,而却无法保证数据的安全性


索引

索引概述

什么是索引?

索引(index)是帮助MySQL搞笑获取数据的数据结构(有序),在数据之外,数据库系统还维护者满足特定查找算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构上实现高级查找算法,这种数据结构就是索引

优缺点
优点缺点
提高数据检索的效率,降低数据库的IO成本索引列也是要占用空间的
通过索引列堆数据进行排序,降低数据排序的成本索引大大提高了查询效率,同时也降低更新表的速度,如对表进行
Insert、update、delete操作时,效率降低(但实际上查询操作更多,而增改删操作较少)

索引数据结构

MySQL的索引是在存储引擎曾实现的,不同的存储引擎有不同的结构,主要包括以下几种:

索引结构描述
B+Tree索引最常见的索引类型,大部分引擎都支持B+树索引
Hash索引底层数据结构是通过哈希表实现的,只有精确匹配索引列的查询才有效,不支持范围查询
R-Tree(空间索引)空间索引是MyISAM引擎的一个特殊索引类型,主要用于地理空间数据类型,比较少用
Full-text(全文索引)是一种通过建立倒排索引,快速匹配文档的方式,类似于ES

索引支持

索引InnoDBMyISAMMemory
B+Tree索引支持支持支持
Hash索引不支持不支持支持
R-Tree索引不支持支持不支持
Full-text5.6版本之后支持支持不支持

平时所说的索引,如果没有特别的指明,都是B+树结构组织的索引

B+Tree

image-20230223133427265image-20230223133453731image-20230223133650349

二叉树的缺点:顺序插入时,会形成链表,查询性能大大降低。大数据量的情况下,层级较深,检索速度较慢

红黑树:能够解决顺序插入形成链表的情况,但是在大数据量的情况下,层级较深,索引速度较慢

B-Tree(多路平和查找树):以一颗最大度数(max-degree)为5阶的b-tree为例(每个节点最多存储4个key,5个指针)【树的度数指的是一个结点的子结点个数】:

image-20230223134121157

B+Tree与B-Tree的区别:

  1. 所有的数据都会出现在叶子节点
  2. 叶子节点形成一个单向链表

image-20230223142729938

MySQL的B+树相对于经典的B+树进行了优化,在原有的B+树的基础上,增加了一个指向相邻叶子节点的链表指针,就形成了带有顺序指针的B+树,提高区间访问性能

image-20230223144119948

Hash

哈希索引就是采用一定的Hash算法,将键值换算成新的hash值,映射到对应的槽位上,然后存储在hash表中

如果两个(或多个)键值,映射到一个相同的槽位上,他们就会产生hash冲突,可以通过链表进行解决

特点:
  1. Hash索引只能用于对等比较(=,in),不支持范围查询
  2. 无法利用索引完成排序操作
  3. 查询效率高,通常只需要一次检索就可以了,效率通常高于B+Tree索引
存储结构支持

在MySQL中,支持hash索引的是memory引擎,而innodb中具有自适应hash功能,hash索引是存储引擎根据B+树索引在指定条件下自动构建的

InnoDB存储引擎为什么要选择B+Tree索引结构
  • 相对于二叉树,层级更少,搜索效率更高
  • 相对于B-Tree,无论是叶子节点还是非叶子节点都会存储数据,这样导致一页中存储的键值减少,指针跟着减少,要同时保存大量数据,只能增加树的高度,导致性能降低
  • 相对于Hash索引,B+Tree支持范围匹配和排序操作

索引分类

分类含义特点关键字
主键索引针对于表中逐渐创建的索引默认自动创建,只能有一个PRIMARY
唯一索引避免同一个表中的某个数据列中的重复值可以有多个UNIQUE
常规索引快速定位特定数据可以有多个
全文索引全文索引超找的是文本中的关键词,而不是比较索引中的值可以有多个FUNNTEXT

在InnoDB存储索引中,根据索引的存储形式,又可以分为以下两种:

分类含义特点
聚集索引(Clustered index)将数据存储与索引放在一块必须有,而且只能有一个
非聚集索引/二级索引/辅助索引(Secondary index)将数据与索引分开存储,索引结构的叶子节点关联的是对应的主键可以存在多个

聚集索引选取规则:

  • 如果存在主键,主键索引就是聚集索引
  • 如果不存在逐渐,将使用第一个唯一(UNIQUE)索引作为聚集索引
  • 如果表没有逐渐,或没有合适的唯一索引,则InnoDB会自动生成一个rowid作为隐藏的聚集索引
select * from user where name = "Arm"

image-20230223151324583

查询条件是name,那么就先走二级索引,二级索引查找到之后就会拿到这一行的主键ID,根据主键在聚集索引中进行查询,找到这一行的数据。

回表查询指的是现在二级索引中找到主键值,然后再到主键索引中找到对应的行,这种查询被称为回表查询

索引的语法

创建索引

CREATE [UNIQUE|FULLTEXT] INDEX index_name ON table_name (index_col_name,....)

一次可以创建多个索引,如果使用UNIQUE或者FULLTEXT 则表示创建的是唯一/全文索引,反之则是普通索引

查看索引

SHOW INDEX FROM table_name;

删除索引

DROP INDEX index_name ON table_name

SQL 性能分析

SQL执行频率

MySQL客户端连接成功后,通过show [session|global] status命令可以提供服务器状态信息。通过下面指令可以看到当前数据库的insert update delete select 的访问频率:

SHOW GLOBAL STATUS LIKE 'COM_______'; 
-- 7个下划线

image-20230223160919531

慢查询日志

慢查询日志记录了所有执行时间超过指定参数(long_query_time,单位:秒,默认为10s)的所有SQL语句的日志。

MySQL的慢查询日志默认没有开启,需要在MySQL的配置文件(/etc/my.cnf)中配置

查询是否开启了慢查询日志:

show variables  like 'slow_query_log';

image-20230223161836040

image-20230223162624594

修改配置文件

# 开启MySQL慢查询日志查询开关
slow_query_log=1
# 设置慢日志的时间为2s,如果语句执行时间超过了2s,就会被视为慢查询,记录慢查询日志
long_query_time=2

image-20230223163009742

profile详情

show profiles能够在做SQL优化时帮助我们了解事件都消耗到哪里去了。通过have_profiling参数,能够看到当前MySQL是否支持profile操作

查看是否支持该操作

select @@have_profiling;

image-20230223163541020

默认情况下profiling是关闭的,可以通过set语句在session/global级别开启profiling;

set profiling = 1;

先查看是否已经开启:

select @@profiling;

image-20230223163853269

如果为1则表示已经打开,这里为0,表示没有打开,需要再进行一次设置,设置成功后再次查询:

image-20230223164150342

#这里我的建议是 不用看,因为MySQL8.0之后要废弃这个方法
'SHOW PROFILES' is deprecated and will be removed in a future release. Please use Performance Schema instead
explain执行计划

EXPLAIN或者DESC命令获取MySQL如何执行select语句的信息,包括在select语句执行过程中如何连接和连接顺序

-- 直接在select 语句之前加上关键字 explain 或者desc即可
explain select 字段列表 from 表名 where 条件;

查询语句:

explain select * from  shop.tb_newbee_mall_admin_user where admin_user_id ='1';

查询结果:

image-20230223165820527

含义介绍
  • Id

    select查询的序列号,表示查询中执行select子句或者是操作表的顺序(Id相同,执行顺序从上到下,Id不同,值越大越先执行)。

  • select_type

    表示select的查询类型,常见的取值有SIMPLE(见到表,及不使用表连接或者子查询)、PRIMARY(主查询,即外层的查询)

    UNION(UNION中的第二个或者后面的查询语句)、SUBQUERY(Select/where之后包含了子查询)等等

  • type

    表示连接类型,性能从好到差以此为:NULL system CONST eq_ref ref range index all

    根据唯一主键进行查询会返回CONST,非唯一主键返回ref,null几乎达不到,除非不查询任何表

  • possible_key

    显示可能应用在这张表上的索引,一个或者多个

  • key

    实际使用的索引,如果为null,则表示没有使用索引

  • key_len

    表示索引中使用的字节数,该职位为索引字段最大可能值,并非实际使用长度,在不损失精确性的前提下,长度越长越好

  • rows

    MySQL认为必须执行的查询的行数,在innodb引擎的表中,是一个预估值,可能并不总是准确。

  • filtered

    表示返回结果的行数占需读取行书的百分比,filtered越大越好

索引使用

失效原因

最小前缀法则

如果索引了多列(联合索引),要遵守最左前缀法则,最左前缀法则指的是查询从索引最左列开始,并且不能够跳过索引中的列,如果条约某一列,索引将部分失效(后面的字段索引失效)

举个例子,现在存在一个联合索引,分别为字段A B C,顺序页是从左往右在查询过程中如果输入

select * from table where A = 1 and B = 2 and C = 3;

这样的话就会走联合索引,查出来的key_len等于ABC三个字段的和

那么如果不带C

select * from table where A=1 and B=2;

这样子仍然走联合索引,但是key_len等于AB两个字段的长度,

依此类推

那么此时不走A

select * from table where B =1 and C=3 ;

由于A是最左列,这样子就不满足最左前缀法则,所以索引为null

那么如果我们有A但是跳过B直接到C

select * from table where A = 1 and C = 3;

这样子走索引,但是key_len等于A的长度,则表示C已经被丢失,对应了后面的索引失效

那么我们走ABC但是顺序不一样

select * from table where b= 1 and c= 2 and a=1;

这样子和第一种情况相似,字段长度仍为ABC的总和

范围查询

联合索引中,出现了范围查询(>,<),范围查询右侧的索引失效,但是>= 这种可以直接规避这种情况

索引列运算操作

不要再索引列上进行运算操作,否则索引将失效

举个例子:

自己创建了一个表和一个联合索引,用nick_name和address 进行联合,用nick_name进行一个直接查询

explain select * from shop.tb_newbee_mall_user where nick_name = '十三';

结果:

image-20230223191645430

那么我们进行计算,进行一个字符串切割再查看结果:

explain select *from shop.tb_newbee_mall_user where substr(nick_name,1,3) = '198';

image-20230223191731724

在这里看出来索引直接失效

需要注意的是,如果是模糊查询,直接自己手动拼接 写成 字符串%不会出现任何问题,还是会走索引,如果是'%字符串%'则不会走索引,CONCAT也相同

使用CONCAT函数

explain select *from shop.tb_newbee_mall_user where nick_name like CONCAT('%','198','%');

运行结果:

image-20230223192133144

单个:

explain select *from shop.tb_newbee_mall_user where nick_name like '198%';

image-20230223192415349

字符串不加引号

字符串不加引号,会造成索引失效

例如:加上引号

explain select * from shop.tb_newbee_mall_user where nick_name = '1986565395';

效果:

image-20230223192808431

不加引号

explain select * from shop.tb_newbee_mall_user where nick_name = 1986565395;

效果:

image-20230223192921015

可能会使用tb_wxk这个索引,但是实际上并没有进行使用

发生了隐式转换

模糊查询

如果只是尾部模糊匹配,索引不会失败,如果是头部模糊匹配,索引则会失效

or连接的条件

用or分隔开的条件,如果or前的条件中的列有索引,而后面的列中没有索引,那么设计的索引都不会被用到

先查看索引:

show index from shop.tb_newbee_mall_user;

image-20230223194954827

在这里使用or进行连接

连接两个都有索引的字段

explain select * from shop.tb_newbee_mall_user where nick_name='1986565395' or user_id=1;

image-20230223201325170

一个字段没有索引

explain select * from shop.tb_newbee_mall_user where nick_name='1986565395' or is_deleted=0;

结果:image-20230223202946941

数据分布影响

如果MySQL评估使用索引比全表更慢,则不使用索引

比如说这里的nickname是0~10,都比0大

image-20230223203905171

那么我进行一个操作查询操作

explain select * from shop.tb_newbee_mall_user where nick_name >= '0';

按照正常流程,这个操作是要走索引的,此外nick_name全都比0大

运行结果如下:

image-20230223204401141

到最后没有走索引,而是选择了扫描全表

那么再次进行一个更换

explain select * from shop.tb_newbee_mall_user where nick_name <= '0';

image-20230223204501977

这样子又走索引了。

那么我们查询大于等于5的(大于等于五的数据小于一半)

explain select * from shop.tb_newbee_mall_user where nick_name >= '5';

image-20230223204847415

这时候还是老老实实的走了全局索引

说明MySQL在选择扫描全表还是走索引会进行评估,这个评估和数据分布有关

索引使用原则

SQL提示

我们知道nick_name和address是一个联合索引,在这里我将nick_name设置成为一个单列索引

create index tb_nick on shop.tb_newbee_mall_user(nick_name);

查看所有的索引:

image-20230223205529669

可以看到此时的nickname已经存在两个索引,那么执行下面SQL

explain select * from shop.tb_newbee_mall_user where nick_name = '2';

image-20230223205646756

最后还是走了联合索引,说明在这时MySQL自己做出了选择,那么如何规避这个选择?这时候就是用到了SQL提示

SQL提示,是优化数据库的一个重要手段,简单来说,就是SQL语句中加入一些认为的提示来达到优化的作用

  • use index:

     explain select * from shop.tb_newbee_mall_user use INDEX (tb_nick) where nick_name ='5'
    

    在这里要求使用了tb_nick这个锁:

    image-20230223210032191

  • ignore index:

    忽略某个index

     explain select * from shop.tb_newbee_mall_user ignore INDEX (tb_nick) where nick_name ='5';
    

    这里选择忽略tb_nick这个索引

    image-20230223210125659

    直接不进行使用

  • force index:

    强制使用某个索引

     explain select * from shop.tb_newbee_mall_user force INDEX (tb_nick) where nick_name ='5';
    
覆盖索引

尽量使用覆盖索引(查询使用了索引,并需要返回的列,在该列中已经全部能找到),减少使用 select *

explain  select  nick_name,address from shop.tb_newbee_mall_user where nick_name >= '5';

在这里我们查询nickname和address,

查询结果

image-20230223213207906

我们在查询is_deleted:

explain select is_deleted from shop.tb_newbee_mall_user where nick_name >= '5';

image-20230223213249723

using index condition 查找使用了索引,但是需要回标查询

using where, using index 查找使用了索引,但是需要的数据都在索引列中能够找到,不需要进行回表查询操作

前缀索引 不建议使用,可以考虑ES

当字段为字符串(varchar text等)时,有时候需要索引很长的字符串,这会让索引变得很大,查询时,浪费大量的磁盘IO,影响查询效率,此时可以只讲字符串的一部分前缀,建立索引,这样可以大大节约索引空间,从而提高索引效率

  • 语法:

    create index idx_xxx on table_name(column(n))

  • 前缀长度

    可以根据索引的许安则醒来确定,而选择性是指不重复的索引值(基数)和数据表的记录总数的比值,索引选择性越高则查询效率越高,唯一索引的选择性是1,这是最好的索引选择性,性能也是最好的

    select count(distinct email)/count(*) from tb_user;
    select count(distinct substring(email,1,5)) / count(*) from tb_user;
    
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值