[012-23].第23节:存储引擎-CSDN博客

本文链接：https://blog.csdn.net/weixin_43783284/article/details/138065463

为了管理方便，把连接管理、查询缓存、语法解析、查询优化这些并不涉及真实数据存储的功能划分为MySQL server的功能，把真实存取数据的功能划分为存储引擎的功能。所以在MySQL server完成了查询优化后，只需按照生成的执行计划调用底层存储引擎提供的API，获取到数据后返回给客户端就好了。

MySQL中提到了存储引擎的概念。简而言之， 存储引擎就是指表的类型。其实存储引擎以前叫做表处理器，后来改名为存储引擎，它的功能就是接收上层传下来的指令，然后对表中的数据进行提取或写入操作

1.查看存储引擎

a.查看mysql提供什么存储引擎

1.命令是：show engines或 show engines \G
2.查询结果显示，MySQL8.0支持9种存储引擎，分别为MEMORY、MRG_MYISAM、CSV、FEDERATED 、PERFORMANCE_SCHEMA、MyISAM、InnoDB、BLACKHOLE和ARCHIVE
3.查询结果的各个列含义：
- Engine参数表示存储引擎名称。
- Support参数表示MySQL数据库管理系统是否支持该存储引擎:YES表示支持，NO表示不支持。DEFAULT表示系统默认支持的存储引擎。
- Comment参数表示对存储引擎的评论。
- Transactions参数表示存储引擎是否支持事务:YES表示支持，NO表示不支持。
- XA参数表示存储引擎所支持的分布式是否符合XA规范: YES表示支持，NO表示不支持。代表着该存储引擎是否支持分布式事务
- Savepoints参数表示存储引擎是否支持事务处理的保存点:YES表示支持，NO表示不支持。也就是说，该存储引擎是否支持部分事务回滚

2. 设置系统默认的存储引擎

2.1.查看默认的存储引擎：

1.命令是：show variables like '%storage_engine%'或者命令：SELECT @@default_storage_engine;

2.2.修改默认的存储引擎

1.如果在创建表的语句中没有显式指定表的存储引擎的话，那就会默认使用 InnoDB 作为表的存储引擎
2.如果我们想改变表的默认存储引擎的话，可以这样写启动服务器的命令行,或者修改 my.cnf 文件（持久的）改变表的默认存储引擎的：default-storage-engine=MyISAM

2.3.代码演示：

#修改存储引擎（临时的）
SET DEFAULT_STORAGE_ENGINE=MyISAM;

create database dbtext1;
use dbtext1;
show create table emp2;
/*
+-------+------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                                     |
+-------+------------------------------------------------------------------------------------------------------------------+
| emp2  | CREATE TABLE `emp2` (
  `id` int DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci |
+-------+------------------------------------------------------------------------------------------------------------------+
*/
SET DEFAULT_STORAGE_ENGINE=MyISAM;
SELECT @@default_storage_engine;
/*
+--------------------------+
| @@default_storage_engine |
+--------------------------+
| MyISAM                   |
+--------------------------+
*/
create table emp3(id int);
show create table emp3;
/*表的存储引擎发生变化
+-------+------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                                     |
+-------+------------------------------------------------------------------------------------------------------------------+
| emp3  | CREATE TABLE `emp3` (
  `id` int DEFAULT NULL
) ENGINE=MyISAM DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci |
+-------+------------------------------------------------------------------------------------------------------------------+
*/

3.重启服务：
- systemctl restart mysqld.service
- 存储引擎是用来处理表的，创建的表默认的存储引擎和系统默认的存储引擎相同

3. 设置表的存储引擎

1.存储引擎是负责对表中的数据进行提取和写入工作的，可以为不同的表设置不同的存储引擎，也就是说不同的表可以有不同的物理存储结构，不同的提取和写入方式。
2.表的存储引擎决定了表在底层存储数据的具体格式

3.1 创建表时指定存储引擎

1.我们之前创建表的语句都没有指定表的存储引擎，那就会使用默认的存储引擎 InnoDB
2.在开发过程中最常用的也是 InnoDB
3.如果我们想显式的指定一下表的存储引擎，那可以这么写：

CREATE TABLE 表名(
建表语句;
) ENGINE = 存储引擎名称;

create table emp4(id int) engine=InnoDB;
show create table emp4;
/*
+-------+------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                                     |
+-------+------------------------------------------------------------------------------------------------------------------+
| emp4  | CREATE TABLE `emp4` (
  `id` int DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci |
+-------+------------------------------------------------------------------------------------------------------------------+
*/

3.2 修改表的存储引擎

1.如果表已经建好了，也可以使用下边这个语句来修改表的存储引擎：

ALTER TABLE 表名 ENGINE = 存储引擎名称;

alter table emp4 engine = myisam;
show create table emp4;
/*
+-------+------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                                     |
+-------+------------------------------------------------------------------------------------------------------------------+
| emp4  | CREATE TABLE `emp4` (
  `id` int DEFAULT NULL
) ENGINE=MyISAM DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci |
+-------+------------------------------------------------------------------------------------------------------------------+
*/

4. 引擎介绍

4.1.两种主要的存储引擎：

a.InnoDB 引擎：

InnoDB 概述：

1.InnoDB 引擎具备外键支持功能的事务存储引擎（InnoDB的优点一）
2.InnoDB是MySQL的默认事务型引擎，它被设计用来处理大量的短期(short-lived)事务。可以确保事务的完整提交(Commit)和回滚(Rollback)（InnoDB的优点二）
3.InnoDB是为处理巨大数据量的最大性能而设计（InnoDB的优点三）
4.对于并发量大的情况和数据量大的情况，InnoDB性能表现较好。InnoDB支持行级锁，行级锁粒度低，更适合于高并发的场景（InnoDB的优点四），MyISAM是只支持表锁
5.当除了增加和查询外（MyISAM擅长增加和查询）,还需要更新、删除操作，那么，应优先选择InnoDB存储引擎。
6.除非有非常特别的原因需要使用其他的存储引擎，否则应该优先考虑InnoDB引擎。
7.数据文件结构：（在第20章_MySQL的数据目录）
- 表名.frm 存储表结构（MySQL8.0时，合并在表名.ibd中）
- 表名.ibd 存储数据和索引
8.在以前的版本中，字典数据以元数据文件、非事务表等来存储。现在这些元数据文件被删除了。比如： .frm ， .par ， .trn ，.isl ， .db.opt 等都在MySQL8.0中不存在了
9.MySQL从3.23.34a开始就包含InnoDB存储引擎。 大于等于5.5之后，默认采用InnoDB引擎,在版本5.5之前是默认使用MyISAM

InnoDB的缺点：

1.对比MyISAM的存储引擎， InnoDB写的处理效率差一些，并且会占用更多的磁盘空间以保存数据和索引（InnoDB缺点）
2.MyISAM只缓存索引，不缓存真实数据；InnoDB不仅缓存索引还要缓存真实数据，对内存要求较高，而且内存大小对性能有决定性的影响

b.MyISAM 引擎：

MyISAM特性:

1.MyISAM是主要的非事务处理存储引擎
2.MyISAM特性包括全文索引、压缩、空间函数(GIS)等，但MyISAM 不支持事务、行级锁、外键，有一个毫无疑问的缺陷就是崩溃后无法安全恢复
3.MySQL的5.5版本之前就之默认MyISAM存储引擎
4.数据文件结构：（第20章_MySQL的数据目录）
- 表名.frm 存储表结构
- 表名.MYD 存储数据 (MYData)
- 表名.MYI 存储索引 (MYIndex)

优势与应用场景：

1.优势是访问的速度快，对事务完整性没有要求或者以SELECT、INSERT为主的应用
2.针对数据统计有额外的常数存储。故而 count(*) 的查询效率很高
3.应用场景：只读应用或者以读为主的业务

c.MyISAM和InnoDB对比

MySQL5.5之前的默认存储引擎是MyISAM，5.5之后改为了InnoDB

在这里插入图片描述

课外补充InnoDB知识：InnoDB表的优势

1.InnoDB存储引擎在实际应用中拥有诸多优势，比如操作便利、提高了数据库的性能、维护成本低等。如果由于硬件或软件的原因导致服务器崩溃，那么在重启服务器之后不需要进行额外的操作。InnoDB崩溃恢复功能自动将之前提交的内容定型，然后撤销没有提交的进程，重启之后继续从崩溃点开始执行。
2.InnoDB存储引擎在主内存中维护缓冲池，高频率使用的数据将在内存中直接被处理。这种缓存方式应用于多种信息，加速了处理进程
3.在专用服务器上，物理内存中高达80%的部分被应用于缓冲池。如果需要将数据插入不同的表中，可以设置外键加强数据的完整性。更新或者删除数据，关联数据将会被自动更新或删除。如果试图将数据插入从表，但在主表中没有对应的数据，插入的数据将被自动移除。如果磁盘或内存中的数据出现崩溃，在使用脏数据之前，校验和机制会发出警告。当每个表的主键都设置合理时，与这些列有关的操作会被自动优化。插入、更新和删除操作通过做改变缓冲自动机制进行优化。 InnoDB不仅支持当前读写，也会缓冲改变的数据到数据流磁盘
4.InnoDB的性能优势不只存在于长时运行查询的大型表。在同一列多次被查询时，自适应哈希索引会提高查询的速度。使用InnoDB可以压缩表和相关的索引，可以在不影响性能和可用性的情况下创建或删除索引。对于大型文本和BLOB数据，使用动态行形式，这种存储布局更高效。通过查询INFORMATION_SCHEMA库中的表可以监控存储引擎的内部工作。在同一个语句中，InnoDB表可以与其他存储引擎表混用。即使有些操作系统限制文件大小为2GB，InnoDB仍然可以处理。当处理大数据量时，InnoDB兼顾CPU，以达到最大性能。

InnoDB和ACID模型

1.ACID模型是一系列数据库设计规则，这些规则着重强调可靠性，而可靠性对于商业数据和任务关键型应用非常重要。MySQL包含类似InnoDB存储引擎的组件，与ACID模型紧密相连，这样出现意外时，数据不会崩溃，结果不会失真。如果依赖ACID模型，可以不使用一致性检查和崩溃恢复机制。如果拥有额外的软件保护，极可靠的硬件或者应用可以容忍一小部分的数据丢失和不一致，可以将MySQL设置调整为只依赖部分ACID特性，以达到更高的性能。

下面讲解InnoDB存储引擎与ACID模型相同作用的四个方面。

1.原子方面 :ACID的原子方面主要涉及InnoDB事务，与MySQL相关的特性主要包括：
- 自动提交设置。
- COMMIT语句。
- ROLLBACK语句。
- 操作INFORMATION_SCHEMA库中的表数据。
2.一致性方面:ACID模型的一致性主要涉及保护数据不崩溃的内部InnoDB处理过程，与MySQL相关的特性主要包括：
- InnoDB双写缓存。
- InnoDB崩溃恢复。
3.隔离方面:隔离是应用于事务的级别，与MySQL相关的特性主要包括：
- 自动提交设置
- SET ISOLATION LEVEL语句
- InnoDB锁的低级别信息
4.持久性方面:ACID模型的耐久性主要涉及与硬件配置相互影响的MySQL软件特性。由于硬件复杂多样化，耐久性方面没有具体的规则可循。与MySQL相关的特性有：
- InnoDB双写缓存，通过innodb_doublewrite配置项配置
- 配置项innodb_flush_log_at_trx_commit
- 配置项sync_binlog
- 配置项innodb_file_per_table
- 存储设备的写入缓存
- 存储设备的备用电池缓存
- 运行MySQL的操作系统
- 持续的电力供应
- 备份策略
- 对分布式或托管的应用，最主要的在于硬件设备的地点以及网络情况

InnoDB架构

1.缓冲池缓冲池是主内存中的一部分空间，用来缓存已使用的表和索引数据。缓冲池使得经常被使用的数据能够直接在内存中获得，从而提高速度。
2.更改缓存更改缓存是一个特殊的数据结构，当受影响的索引页不在缓存中时，更改缓存会缓存辅助索引页的更改。索引页被其他读取操作时会加载到缓存池，缓存的更改内容就会被合并。不同于集群索引，辅助索引并非独一无二的。当系统大部分闲置时，清除操作会定期运行，将更新的索引页刷入磁盘。更新缓存合并期间，可能会大大降低查询的性能。在内存中，更新缓存占用一部分InnoDB缓冲池。在磁盘中，更新缓存是系统表空间的一部分。更新缓存的数据类型由innodb_change_buffering配置项管理。
3.自适应哈希索引自适应哈希索引将负载和足够的内存结合起来，使得InnoDB像内存数据库一样运行，不需要降低事务上的性能或可靠性。这个特性通过innodb_adaptive_hash_index选项配置，或者通过–skip-innodb_adaptive_hash_index命令行在服务启动时关闭。
4.重做日志缓存重做日志缓存存放要放入重做日志的数据。重做日志缓存大小通过innodb_log_buffer_size配置项配置。重做日志缓存会定期地将日志文件刷入磁盘。大型的重做日志缓存使得大型事务能够正常运行而不需要写入磁盘。
5.系统表空间系统表空间包括InnoDB数据字典、双写缓存、更新缓存和撤销日志，同时也包括表和索引数据。多表共享，系统表空间被视为共享表空间
6.双写缓存双写缓存位于系统表空间中，用于写入从缓存池刷新的数据页。只有在刷新并写入双写缓存后，InnoDB才会将数据页写入合适的位置
7.撤销日志撤销日志是一系列与事务相关的撤销记录的集合，包含如何撤销事务最近的更改。如果其他事务要查询原始数据，可以从撤销日志记录中追溯未更改的数据。撤销日志存在于撤销日志片段中，这些片段包含于回滚片段中
8.每个表一个文件的表空间每个表一个文件的表空间是指每个单独的表空间创建在自身的数据文件中，而不是系统表空间中。这个功能通过innodb_file_per_table配置项开启。每个表空间由一个单独的.ibd数据文件代表，该文件默认被创建在数据库目录中
9.通用表空间使用CREATE TABLESPACE语法创建共享的InnoDB表空间。通用表空间可以创建在MySQL数据目录之外能够管理多个表并支持所有行格式的表。
10.撤销表空间撤销表空间由一个或多个包含撤销日志的文件组成。撤销表空间的数量由innodb_undo_tablespaces配置项配置。
11.临时表空间用户创建的临时表空间和基于磁盘的内部临时表都创建于临时表空间。innodb_temp_data_file_path配置项定义了相关的路径、名称、大小和属性。如果该值为空，默认会在innodb_data_home_dir变量指定的目录下创建一个自动扩展的数据文件
innodb_data_home_dir变量指定的目录下创建一个自动扩展的数据文件。
12.重做日志重做日志是基于磁盘的数据结构，在崩溃恢复期间使用，用来纠正数据。正常操作期间，重做日志会将请求数据进行编码，这些请求会改变InnoDB表数据。遇到意外崩溃后，未完成的更改会自动在初始化期间重新进行

4.2.其他存储引擎：

a.Archive 引擎：

概述Archive 引擎：

1.Archive 引擎用于数据存档
2.archive是存挡的意思，仅仅支持插入和查询出两种功能（行被插入后不能再修改）
3.在MySQL5.5以后支持索引功能。

优势：

1.拥有很好的压缩机制，使用zlib压缩库，在记录请求的时候实时的进行压缩，经常被用来作为仓库使用。
2.创建ARCHIVE表时，存储引擎会创建名称以表名开头的文件。数据文件的扩展名为 .ARZ。
3.根据英文的测试结论来看，同样数据量下，Archive表比MyISAM表要小大约75%，比支持事务处理的InnoDB表小大约83%。
4.ARCHIVE存储引擎采用了行级锁。该ARCHIVE引擎支持 AUTO_INCREMENT列属性，AUTO_INCREMENT列可以具有唯一索引或非唯一索引。尝试在任何其他列上创建索引会导致错误。
5.Archive表适合日志和数据采集（档案〉类应用;适合存储大量的独立的作为历史记录的数据。拥有很高的插入迪度，但是对查询的支持较差。

下表展示了ARCHIVE 存储引擎功能

在这里插入图片描述

b.Blackhole 引擎：

1.Blackhole 引擎丢弃写操作，读操作会返回空内容
2.Blackhole引擎没有实现任何存储机制，它会丢弃所有插入的数据，不做任何保存。但服务器会记录Blackhole表的日志，所以可以用于复制数据到备库，或者简单他记录到日志。但这种应用方式会碰到很多问题，因此并不推荐。

c.CSV 引擎：

CSV 引擎特点：

1.CSV 引擎存储数据时，以逗号分隔各个数据项
2.CSV引擎可以将普通的CSV文件作为MySQL的表来处理，但不支持索引
3.CSV引挚可以作为一种数据交换的机制，非常有用。
4.CSV存储的数据直接可以在操作系统里，用文本编辑器，或者excel读取。对于数据的快速导入、导出是有明显优势的。

创建CSV引擎类型的表：

1.创建CSV引擎类型类型的表，服务器会创建一个纯文本数据文件，其名称以表名开头并带有.CSV扩展名。当把数据存储到表中时，存储引擎将其以逗号分隔值格式保存到数据文件中，使用案例如下

#错误：CSV不支持空的列
create table csv_demo(id int,name char(20)) engine=csv;
#ERROR 1178 (42000): The storage engine for the table doesn't support nullable columns

#正确：声明CSV引擎的表时，每个字段都要是非空not null
 create table csv_demo(id int not null,name char(20) not null) engine=csv;


 show create table csv_demo;
 /*
+----------+-------------------------------------------------------------------------------------------------------------------------------------------+
| Table    | Create Table                                                                                                                              |
+----------+-------------------------------------------------------------------------------------------------------------------------------------------+
| csv_demo | CREATE TABLE `csv_demo` (
  `id` int NOT NULL,
  `name` char(20) NOT NULL
) ENGINE=CSV DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci |
+----------+-------------------------------------------------------------------------------------------------------------------------------------------+
*/

2.创建CSV表还会创建相应的元文件 ，用于存储表的状态和表中存在的行数。此文件的名称与表的名称相同，后缀为 CSM 。如图所示
3.往表中插入数据：INSERT INTO csv_demo VALUES(1,'record one'),(2,'record two');
- 执行上面语句后，如果检查 csv_demo.CSV 通过执行上述语句创建的数据库目录中的文件，其内容使用Notepad++打开如下：
- 这种格式可以被 Microsoft Excel 等电子表格应用程序读取，甚至写入。使用Microsoft Excel打开如图所示:

d.Memory 引擎：置于内存的表

概述：

1.Memory采用的逻辑介质是内存，响应速度很快 ，但是当mysqld守护进程崩溃的时候数据会丢失 。
2.另外，要求存储的数据是数据长度不变的格式，比如，Blob和Text类型的数据不可用(长度不固定的)。

主要特征：

1.Memory同时支持哈希（HASH）索引 和 B+树索引
- 哈希索引相等的比较快，但是对于范围的比较慢很多
- 默认使用哈希（HASH）索引，其速度要比使用B型树(BTREE）索引快
- 如果希望使用B树索引，可以在创建索引时选择使用。
2.Memory表至少比MyISAM表要快一个数量级 。
3.MEMORY 表的大小是受到限制的
- 表的大小主要取决于两个参数，分别是 max_rows 和 max_heap_table_size
- 其中，max_rows可以在创建表时指定；max_heap_table_size的大小默认为16MB，可以按需要进行扩大。
4.数据文件与索引文件分开存储。
- 每个基于MEMORY存储引擎的表实际对应一个磁盘文件，该文件的文件名与表名相同，类型为frm类型，该文件中只存储表的结构，而其数据文件都是存储在内存中的。这样有利于数据的快速处理，提供整个表的处理效率。

.缺点：

1.其数据易丢失，生命周期短。基于这个缺陷，选择MEMORY存储引擎时需要特别小心。

使用Memory存储引擎的场景：

1.目标数据比较小，而且非常频繁的进行访问 ，在内存中存放数据，如果太大的数据会造成内存溢出 。可以通过参数 max_heap_table_size 控制Memory表的大小，限制Memory表的最大的大小
2.如果数据是临时的，而且必须立即可用得到，那么就可以放在内存中
3.存储在Memory表中的数据如果突然间丢失的话也没有太大的关系