存储引擎
- 连接层
最上层是一些客户端和连接服务，主要完成一些类似连接处理，授权认证及相关的安全方案。服务器也会为安全接入的每个客户端验证他所具有的操作权限 - 服务层
第二层架构主要完成大多数的核心服务功能，如SQL接口，并完成缓存的查询，SQL的分析和优化，部分内置函数的执行。所有跨存储引擎的功能也在这一层实现，如过程，函数等 - 引擎层
存储引擎真正的负责了MySQL中数据的存储和提取，服务器通过API和存储引擎之间进行通信。不同的存储引擎具有不同的功能，这样我们可以根据自己的需要，来选取合适的存储引擎 - 存储层
主要是将数据存储在文件系统之上，并完成与存储引擎的交互
存储引擎简介
存储引擎就是存储数据，建立索引，更新/查询数据等技术的实现方式。存储引擎是基于表的，而不是基于库的，所以存储引擎也可被称为表类型。
// 在创建表的时候，指定存储引擎
CREATE TABLE 表名{
...
}ENGINE = INNODB ...
// 查看当前数据库支持的存储引擎
SHOW ENGINES;
存储引擎特点
InnoDB
InnoDB是一种兼顾高可靠性和高性能的通用存储引擎，在MySQL5.5之后，InnoDB是默认的MySQL存储引擎
特点
- DML操作遵循ACID模型，支持事务
- 行级锁，提高并发访问性能
- 支持 外键FOREIGN KEY约束，保证数据的完整性和正确性
文件
xxx.ibd:xxx代表是表名，innoDB引擎的每张表都会对应这样一个表空间文件，存储该表的表结构（frm，sdi），数据和索引。参数：innodb_file_per_table
MyISAM
MyISAM是MySQL早期的默认存储引擎
特点
- 不支持事务，不支持外键
- 支持表锁，不支持行锁
- 访问速度快
文件：
xxx.sdi:存储表结构信息，xxx.MYD:存储数据，xxx.MYI:存储索引
Memory
Memory引擎的表数据是存储在内存中的，由于受到硬件问题，或断电问题的影响，只能将这些表作为临时表或缓存使用
特点：
- 内存存放
- hash索引（默认）
文件：xxx.sdi存储表结构信息
小结
| 特点 | InnoDB | MyISAM | Memory |
|---|---|---|---|
| 存储限制 | 64TB | 有 | 有 |
| 事务安全 | 支持 | - | - |
| 锁机制 | 行锁 | 表锁 | 表锁 |
| B+tree索引 | 支持 | 支持 | 支持 |
| Hash索引 | - | - | 支持 |
| 全文索引 | 支持 | 支持 | - |
| 空间使用 | 高 | 低 | N/A |
| 内存使用 | 高 | 低 | 中等 |
| 批量插入速度 | 低 | 高 | 高 |
| 支持外键 | 支持 | - | - |
存储引擎选择
在选择存储引擎时，应该根据应用系统的特点选择合适的存储引擎。对于复杂的应用系统，还可以根据实际情况选择多种存储引擎进行组合
- InnoDB：是MySQL的默认存储引擎，支持事务，外键。如果应用对事物的完整性有较高的要求，在并发条件下要求数据的一致性，数据操作除了插入和查询之外，还包含很多的更新，删除操作，那么InnoDB存储引擎是比较合适的选择
- MyISAM：如果应用是以读操作和插入操作为主，只有很少的更新和删除操作，并且对事务的完整性，并发性要求不是很高，那么选择这个存储引擎是合适的
- Memory：将所有数据保存在内存中，访问速度快，通常用于临时表以及缓存。Memory的缺陷就是对表的大小有限制，太大的表无法缓存在内存中，而且无法保证数据的安全性
索引
索引（index）是帮助MySQL搞笑获取数据的数据结构（有序）。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法，这种数据结构就是索引
优缺点
| 优点 | 缺点 |
|---|---|
| 提高数据检索的效率，降低数据库的I/O成本 | 索引列也是要站空间的 |
| 通过索引列对数据进行排序，降低数据排序的成本。降低CPU的消耗 | 索引大大提高了查询效率，同时却也降低了更新表的速度，如对表进行INSERT,UPDATE,DELETE时，效率降低 |
索引结构
MySQL的索引结构是在存储引擎层实现的，不同的存储引擎有不同的结构，主要包含以下几种
| 索引结构 | 描述 |
|---|---|
| B+Tree索引 | 最常见的索引类型，大部分引擎都支持B+树索引 |
| Hash索引 | 底层数据结构是用Hash实现的，只有精确匹配索引列的查询才有效，不支持范围查询 |
| R-tree（空间索引） | 空间索引是MyISAM引擎的一个特殊索引类型，主要用于地理空间数据类型，通常使用较少 |
| Full-text（全文索引） | 是一种通过建立倒排索引，快速匹配文档的方式，类似于Lucene，Solr，ES |
| 索引 | InnoDB | MyISAM | Memory |
|---|---|---|---|
| B+Tree索引 | 支持 | 支持 | 支持 |
| Hash索引 | 不支持 | 不支持 | 支持 |
| R-tree索引 | 不支持 | 支持 | 不支持 |
| Full-text | 5.6后支持 | 支持 | 不支持 |
MySQL索引数据结构对经典的B+Tree进行了优化。在原B+Tree的基础上，增加一个指向相邻叶子节点的链表指针，就形成了带有顺序指针的B+Tree，提高区间访问的性能
索引分类
| 分类 | 含义 | 特点 | 关键字 |
|---|---|---|---|
| 主键索引 | 针对于表中主键创建的索引 | 默认自动创建，只能有一个 | PRIMARY |
| 唯一索引 | 避免同一个表中某数据列中的值重复 | 可以有多个 | UNIQUE |
| 常规索引 | 快读定位特征数据 | 可以有多个 | |
| 全文索引 | 全文索引找的是文本中的文件字，而不是比较索引中的值 | 可以有多个 | FULLTEXT |
在InnoDB存储引擎中，根据索引的存储形式，又可以分为以下两种
| 分类 | 含义 | 特点 |
|---|---|---|
| 聚集索引（Clustered Index） | 将数据存储与索引放到了一块，索引结构的叶子节点保存了行数据 | 必须有，而且只有一个 |
| 二级索引（Secondary Index） | 将数据与索引分开存储，索引结构的叶子节点关联的对应的主键 | 可以存在多个 |
聚集索引存储规则：如果存在主键，逐渐索引就是聚集索引，否则将使用第一个唯一（UNIQUE）索引作为聚集索引，再否则InnoDB会自动生成一个rowid作为隐藏的聚集索引。
索引语法
// 创建索引
CREATE [UNIQUE | FULLTEXT] INDEX index_name ON table_name (index_col_name...);
// 查看索引
SHOW INDEX FROM table_name;
// 删除索引
DROP INDEX index_name ON table_name;
SQL性能分析
SQL执行频率
MySQL客户端连接成功后，通过show[session|global] status命令可以提供服务器状态信息。通过如下指令，可以查看当前数据库的INSERT,UPDATE,DELETE,SELECT的访问频次：
SHOW GLOBAL STATUS LIKE 'Com______';
慢查询日志
慢查询日志记录了所有执行时间超过指定参数（long_query_time，单位：秒，默认十秒）的所有SQL语句的日志。MySQL的慢日志查询默认没有开启，需要在MySQL的配置文件（/etc/my.cnf）中配置如下信息：
# 开启MySQL慢日志查询开关
show_query_log = 1
# 设置慢日志的时间为2秒，SQL语句执行时间超过2秒，就会视为慢查询，记录慢查询日志
long_query_time = 2
profile详情
show profiles能够在做SQL优化时帮助我们了解时间都耗费到哪去了。通过have_profiling参数，能够看到当前MySQL是否支持profile操作：
SELECT @@have_profiling;
默认profile是关闭的，可以通过set语句在session|global级别开启profiling：
SET profiling = 1;
执行一系列SQL操作，然后通过如下指令查看指令的执行耗时
# 查看每一条SQL的耗时情况
show profiles;
# 查看指定query_id的SQL语句各个阶段的耗时情况
show profile for query query_id;
# 查看指定query_id的SQL语句的CPU的使用情况
show profile cpu for query query_id;
explain执行计划
EXPLAIN或者DESC命令获取MySQL如何执行SELECT语句的信息，包括在SELECT语句执行过程中表如何连接和连接的顺序
# 直接在select语句之前加上关键字explain/desc
EXPLAIN SELECT 字段列表 FROM 表名 WHERE 条件;
EXPLAIN执行计划各字段的含义：
- Id：select查询的序列号，表示查询中执行select子句或者是操作表的顺序（id相同，执行顺序从上到下；Id不同，值越大，越先执行）
- select_type：表示SELECT的类型，常见的取值有SIMPLE（简单表，即不使用表连接或者子查询），PRIMARY（主查询，即外层的查询），UNION（UNION中的第二个或者后面的查询语句），SUBQUERY（SELECT/WHERE之后包含了子查询）等
- type：表示连接类型，性能由好到差的链接类型为：NULL，system，const，eq_ref，ref，range，index，all
- possible_key：显示可能应用在这张表上的索引，一个或多个
- key：实际使用的索引，如果为NULL，则没有使用索引
- key_len：表示索引中使用的字节数，该值为索引字段的最大可能长度，并非实际使用长度，在不损失精确性的前提下，长度越短越好
- rows：MySQL认为必须要执行查询的行数，在innodb引擎的表中，是一个估计值，可能并不总是准确的
- filtered：表示返回结果的行数占需读取行数的百分比，filtered的值越大越好
验证索引效率
针对字段创建索引
create index idx_sku_sn on tb_sku(sn);
- 最左前缀法则：如果索引了多列（联合索引），要遵守最左前缀法则。最左前缀法则指的是查询从索引的最左列开始，并且不跳过索引中的列。如果跳跃某一列，索引将部分失效（后面的字段索引失效）
- 范围查询：联合索引中，出现范查询（>,<），范围查询右侧的列索引失效
- 索引列运算：不要在索引列上进行运算操作，否则索引失效
- 字符串不加引号：字符串类型字段使用时，不加引号，索引将失效。
- 模糊匹配：如果仅仅是尾部模糊匹配，索引不会失效。如果是头部模糊匹配，索引失效
- or连接的条件：用or分割开的条件，如果or前的条件中的列有索引，而后面的列中没有索引，那么设计的索引都不会被用到
- 数据分布影响：如果MySQL评估使用索引比全表更慢，则不使用索引
SQL提示
SQL提示，是优化数据库一个重要手段，简单来说，就是在SQL语句中加入一些人为的提示来达到优化操作的目的
explain select * from tb_user use index()....
explain select * from tb_user ignore index()....
explain select * from tb_user force index()...
覆盖索引
尽量使用覆盖索引（查询使用了索引，并且需要返回的列，在该索引中已经全部能找到），减少select *
using index condition：查找使用了索引，但是需要回标查询数据
using where using index：查找使用了索引，但是需要的数据在索引中都能查到，所以不需要回表查询数据
前缀索引
当字段类型为字符串（varchar，text等）时，有时候需要索引很长的字符串，这会让索引变得很大，查询时，浪费大量的磁盘I/O，影响查询效率。此时可以只将字符串的一部分前缀建立索引，这样可以大大节约索引空间，从而提高索引效率
create index idx_xxxx on table_name(column(n));
前缀长度可以根据索引的选择性来决定，而选择性是指不重复的索引值（基数）和数据表的记录总数的比值，索引选择性越高则查询效率越高，唯一索引的选择性是1，这是最好的索引选择性，性能也是最好的
select count(distinct email)/count(*) from tb_user;
select count(distinct substring(email,1,5)) / count(*) from tb_user;
单列索引与联合索引
单列索引：即一个索引值包含单个列
联合索引：即一个索引包含了多个列
在业务场景中，如果存在多个查询条件，考虑针对查询字段建立索引时，建议建立联合索引，而非单列索引
多条件联合查询时，MySQL优化器会评估哪个字段的索引效率更高，会选择该索引完成本次查询
索引设计原则
- 针对于数据量较大，且查询较频繁的表建立索引
- 针对于常作为查询条件（where），排序（order by），分组（group by）操作的字段建立索引
- 尽量选择区分度高的列作为索引，尽量建立唯一索引，区分度越高，使用索引的效率越高
- 如果是字符串类型的字段，字段的长度较长，可以针对于字段的特点，建立前缀索引
- 尽量使用联合索引，减少单列索引，查询时，联合索引很多时候可以覆盖索引，节省存储空间，避免回表，提高查询效率
- 要控制索引的数量，索引并不是多多益善，索引越多，维护索引结构的代价也就越大，会影响增删改的效率
- 如果索引不能存储NULL值，请在创建表的时候使用NOT NULL约束他。当优化器知道每列是否包含NULL值时，可以更好的确定哪个索引最有效的用于查询
SQL优化
插入数据
insert优化
// 批量插入
insert into tb_test values(1,'tom'),(2,'cat');
// 手动提交事务
start transaction;
insert into tb_test values(1,'tom'),(2,'cat);
commit;
// 主键顺序插入
大批量数据插入
如果需要一次性插入大批量数据，使用insert语句插入性能较低，此时可以使用MySQL数据库提供的load指令进行插入，操作如下
# 客户端连接服务端时，加上参数--local--infile
mysql --local-infile -u -root -p
# 设置全局参数local_infile为1，开启从本地加载文件导入数据的开关
set global local_infile = 1;
# 执行load指令将准备好的数据加载到表结构中
load data local infile 'root/sql1.log' into table 'tb_user' fields terminated by ',' lines terminated by '\n';
主键优化
数据组织方式
在InnoDB存储引擎中，表数据都是根据主键顺序组织存放的，这种存储方式的表称为索引组织表（index organized table IOT）
页分裂
页可以为空，也可以插入一半，也可以填充100%。每个页包含了2-N行数据（如果一行数据过大，会行移除），根据主键排列
页合并
当删除一行记录时，实际上记录没有被物理删除，只是记录被标记（flaged）为删除并且它的空间变得允许被其他记录声明使用
当页中删除的记录达到MERGE_THRESHOLD（默认为页的50%），InnoDB会开始寻找最靠近的页（前或后）看看是否可以将两个页合并优化空间使用
主键设计原则
- 满足业务需求的情况下，尽量降低主键的长度
- 插入数据时，尽量选择顺序插入，选择使用AUTO_INCREMENT自增主键
- 尽量不要使用UUID做主键或者是其他自然主键，如身份证号
- 业务操作时，避免对主键的修改
order by优化
- Using filesort：通过表的索引或全表扫描，读取满足条件的数据行，然后在排序缓冲区sort buffer中完成排序操作，所有不是通过索引直接返回结果的排序都叫FileSort排序
- Using index：通过有序索引顺序扫描直接返回有序数据，这种情况即为using index，不需要额外排序，操作效率高
# 没有创建索引时，根据age phone进行排序
explain select id,age,phone from tb_user order by age,phone;
# 创建索引
create index idx_user_age_phone_aa on tb_user(age,phone);
# 创建索引后，根据age，phone进行升序排序
explain select id,age,phone from tb_user order by age,phone
# 创建索引后，根据age，phone进行降序排序
explain select id,age,phone from tb_user order by age,phone desc;
# 创建索引后，根据age，phone一个升序一个降序排序
explain select id,age,phone from tb_user order by age asc,phone desc;
# 创建索引
create index idx_user_age_phone_aa on tb_user(age,phone desc);
- 根据排序字段建立合适的索引，多字段排序时，也遵循最左前缀法则。
- 尽量使用覆盖索引
- 多字段排序，一个升序一个降序，此时需要注意联合索引在创建时的规则（ASC/DESC）。
- 如果不可避免的出现filesort，大数据量排序时，可以适当增大排序缓冲区大小sort_buffer_size（默认256k）
group by优化
- 在分组操作时，可以通过索引来提高效率
- 遵循最左前缀法则
limit优化
一个常见的问题就是limit 2000000000,10 ，此时需要MySQL排序前2000000010记录，仅仅返回2000000000-2000000010的记录，其他记录丢弃，查询排序的代价非常大
优化思路：一般分页查询时，通过创建覆盖索引能够比较好的提高性能，可以通过覆盖索引加子查询形式进行优化
explain select * from tb_sku t,(select id from tb_sku order by id limit 2000000000,10) a where t.id = a.id;
count优化
MyISAM引擎把一个表的总行书存在了磁盘上，因此执行count()的时候会直接返回这个数，效率很高
InnoDB引擎就麻烦了，他执行count()的时候，需要把数据一行一行的从引擎里面读出来，然后累积计数
优化思路：自己计数
count的几种用法
- count()是一个聚合函数，对于他返回的结果集，一行行的判断，如果count函数的参数不是NULL，累计值就加一，否则不加，最后返回累计值
- 用法：count(*),count(主键),count(字段),count(1)
- count(主键)：InnoDB引擎会遍历整张表，把每一行的主键id值都取出来，返回给服务层。服务层拿到主键后，直接按行进行累加（逐主键不可能为null）
- count(字段)：没有not null约束：InnoDB引擎会遍历整张表把每一行的字段提取出来，返回给服务层，服务层判断是否为null，不为null，计数累加。有not null约束：InnoDB引擎会遍历整张表把每一行的字段值都取出来，返回给服务层，直接按行进行累加。
- count(1)：InnoDB引擎遍历整张表，但不取值。服务层对于返回的每一行，放一个数字“1”进去，直接按行进行累加。
按照效率排序的话，count(字段)<count(主键id)<count(1)=count( * )，所以尽量使用count( * )。
update优化
InnoDB的行锁是针对索引加的锁，不是针对记录加的锁，并且该索引不能失效，否则会从行锁升级为表锁，因此尽量根据主键/索引字段进行数据更新
视图
视图（View）是一种虚拟存在的表。视图中的数据并不在数据库中实际存在， 行和列数据并不在数据库中实际存在，行和列数据来自定义视图的查询中使用的表，并且是在使用视图时动态生成的。
通俗的讲，视图只保存了查询的SQL逻辑，不保存查询结果。所以我们在创建视图的时候，主要的工作就落在创建这条SQL查询语句上。
创建
CREATE [ON REPLACE] VIEW 视图名称[(列表名称)] AS SELECT语句 [WITH[CASCADED|LOCAL]CHECK OPTION]
查询
# 查看创建视图语句
SHOW CREATE VIEW 视图名称;
# 查看视图数据
SELECT * FROM 视图名称.....;
修改
# 方式1
CREATE [OR REPLACE] VIEW 视图名称[(列名列表)] AS SELECT语句 [WITH[CASCADED|LOCAL]CHECK OPTION];
# 方式2
ALTER VIEW 视图名称[(列名列表)] AS SELECT [WITH[CASCADED|LOCAL]CHECK OPTION];
删除
DROP VIEW [IF EXISTS] 视图名称,[视图名称]....
视图的检查选项
当使用WITH CHECK OPTION子句创建视图时，MySQL会通过视图检查正在更改的每个行，例如 插入，删除，以使其复合视图的定义。MySQL允许基于另一个视图创建视图，他还会检查依赖视图中的规则以保持一致性。为了确定检查的范围，mysql提供了两个选项：CASCADED和LOCAL，默认值为CASCADED。
视图的更新
要使视图可更新，视图中的行与基础表中的行之间必须存在一对一的关系。如果视图包含以下任意一项，则该视图不可更新：
- 聚合函数或窗口函数(SUM(),MIN(),MAX(),COUNT()等))
- DISTINCT
- GROUP BY
- HAVING
- UNION 或者 UNION ALL
视图的作用
- 简单：视图不仅可以简化用户对数据的理解，也可以简化他们的操作。那些被经常使用的查询可以被定义为视图，从而使得用户不必为以后得操作每次指定全部的条件
- 安全：数据库可以授权，但是不能授权到数据库特定的行和列上。通过视图用户只能查询和修改他们所能见到的数据
- 数据独立：视图可以帮助用户屏蔽真实表结构变化带来的影响
存储过程
存储过程是事先经过编译并存储在数据库中的一段SQL语句的集合，调用存储过程可以简化应用开发人员的很多工作，减少数据在数据库和应用服务器之间的传输，对于提高数据处理的效率是有好处的
存储过程思想上很简单，就是数据库SQL语言层面的代码封装与重用
特点：
- 封装，复用
- 可以接受参数，也可以返回数据
- 减少网络交互，效率提升
基本语法
# 创建
CREATE PROCEDURE 存储过程名称（参数列表）
BEGIN
-- SQL语句
END;
# 调用
CALL 名称（参数）;
# 查看
SELECT * FROM INFORMATION_SCHEMA.ROUTINES WHERE ROUTINE_SCHEMA = 'XXX'; --- 查询指定数据库的存储过程以及状态信息
SHOW CREATE PROCEDURE 存储过程名称 -- 查询某个存储过程的定义
# 删除
DROP PROCEDURE [IF EXISTS] 存储过程名称;
变量
系统变量
系统变量是MySQL服务器提供，不是用户定义的，属于服务器层面，分为全局变量（GLOBAL），会话变量（SESSION）。
# 查看系统变量
SHOW [SESSION | GLOBAL] VARIABLES -- 查看所有系统变量
SHOW [SESSION | GLOBAL] VARIABLES LIKE '......' -- 可以通过LIKE模糊匹配方式查找变量
SELECT @@[SESSION | GLOBAL] 系统变量名; -- 查看指定变量的值
# 设置系统变量
SET [SESSION | GLOBAL] 系统变量名 = 值;
SET @@[SESSION | GLOBAL] 系统变量名 = 值;
用户自定义变量
用户定义变量是用户根据需要自己定义的变量，用户变量不用提前声明，在用的时候直接"@变量名"使用就可。其作用域为当前连接
# 赋值
SET @var_name = expr[,@var_name=expr]...;
SET @var_name := expr[,@var_name=expr]...;
SELECT @var_name := expr[,@var_name=expr]...;
SELECT 字段名 INTO @var_name FROM 表名
# 使用
SELECT @var_name;
注：用户定义的变量无需对其进行声明或初始化，只不过获取到的值为NULL
局部变量
局部变量是根据需要定义的在局部生效的变量，访问之前，需要DECLARE声明。可用作存储过程内的局部变量和输入参数，局部变量的范围是在其内声明的BEGIN…END块
# 声明
DECLARE 变量名 变量类型 [DEFAULT...];
# 赋值
SET 变量名 = 值;
SET 变量名 := 值;
SELECT 字段名 INTO 变量名 FROM 表名...;
IF
# 语法
IF 条件1 THEN
...
ELSEIF 条件2 THEN -- 可选
...
ELSE -- 可选
...
END IF;
参数
| 类型 | 含义 | 备注 |
|---|---|---|
| IN | 该类参数作为输入，也就是需要调用时传入值 | 默认 |
| OUT | 该类参数作为输出，也就是该参数可以作为返回值 | |
| INOUT | 既可以作为输入参数，也可以作为输出参数 |
# 用法
CREATE PROCEDURE 存储过程名称([IN/OUT/INOUT 参数名 参数类型])
BEGIN
-- SQL语句
END;
例
create procedure p4(in score int,out result varchar(10))
begin
if score >= 85 then
set result := '优秀';
elseif score >= 60 then
set result := '及格';
else
set result := '不及格';
end if;
end;
call p4(18,@result);
select @result;
case
# 语法1
CASE case_value
WHEN when_value1 THEN statement_list1
[WHEN when_value2 THEN statement_list2]..
[ELSE statement_list]
END CASE;
# 语法2
CASE
WHEN search_condition1 THEN statement_list1
[WHEN search_condition2 THEN statement_list2]
[ELSE statement_list]
END CASE;
while
while循环是有条件的循环控制语句。满足条件后，再执行循环体内的SQL语句。具体语法为
# 先判定条件，如果条件为true，再执行逻辑，否则，不执行逻辑
WHILE 条件 DO
SQL逻辑...
END WHILE;
repeat
repeat是有条件的循环控制语句，当满足条件的时候退出循环。具体语法为
# 先执行一次逻辑，然后判断逻辑是否满足，如果满足则退出。如果不满足则继续进行下一次循环
REPEAT
SQL逻辑
UNTIL 条件
END REPEAT;
loop
LOOP实现简单的循环，如果不在SQL逻辑中增加退出循环的条件，可以用其来实现简单的死循环。LOOP可以配合以下两个语句使用：
- LEAVE：配合循环使用，退出循环
- ITERATE:必须用在循环中，作用是跳过当前循环剩下的语句，直接进入下一次循环
[begin_label:] LOOP
SQL逻辑
END LOOP [end_label];
LEAVE labal; -- 退出指定标记的循环体
ITERATE label; -- 直接进入下一次循环
游标
游标（cursor）是用来存储查询结果集的数据类型，在存储过程和函数中可以使用游标对结果集进行循环的处理。游标的使用包括游标的声明，OPEN,.FETCH和CLOSE，其语法分别如下。
# 声明
DECLARE 游标名称 CURSOR FOR 查询语句;
# 打开游标
OPEN 游标名称;
# 获取游标记录
FETCH 游标名称 INTO 变量,[变量];
# 关闭游标
CLOSE 游标名称;
例
create procedure p(in uage int)
begin
declare uname varvhar(100);
declare upro varchar(100);
declare u_cursor cursor for select name,profession from tb_user where age < uage;
drop table if exists tb_user_pro;
create table if not exists tb_user_pro{
id int primary key auto_increment,
name varchar(100),
profession varchar(100)
};
open u_cursor;
while true do
fetch u_cursor into uname,upro;
insert into tb_user_pro values(null,uname,upro);
end while;
close u_cursor;
end;
条件处理程序
条件处理程序（handler）可以用来定义流程控制结构执行过程中遇到的问题时相应的处理步骤。具体语法为：
DECLARE handler_action HANDLER FOR condition_value[,condition_value]... statement;
handler_action
CONTINUE:继续执行当前程序
EXIT:终止执行当前程序
condition_value
SQLSTATE sqlstate_value:状态码，如02000
SQLWARING:所有以01开头的SQLSTATE代码的简写
NOT FOUND:所有以02开头的SQLSTATE代码的简写
SQLEXPECTION:所有没有被SQLWARING或NOT FOUND捕获的SQLSTATE代码的简写
我们可以用这个优化以上代码
create procedure p(in uage int)
begin
declare uname varvhar(100);
declare upro varchar(100);
declare u_cursor cursor for select name,profession from tb_user where age < uage;
declare exit handler for SQLSTATE '02000' close u_cursor;
drop table if exists tb_user_pro;
create table if not exists tb_user_pro{
id int primary key auto_increment,
name varchar(100),
profession varchar(100)
};
open u_cursor;
while true do
fetch u_cursor into uname,upro;
insert into tb_user_pro values(null,uname,upro);
end while;
close u_cursor;
end;
存储函数
存储函数是有返回值的存储过程，存储函数的参数只能是IN类型的。具体语法如下：
CREATE FUNCTION 存储函数名称([参数列表)]
RETURNS type [characteristic...]
BEGIN
-- SQL语句
RETURN...;
END;
characteristic说明：
DETERMINISTIC:相同的输入参数总是产生相同的结果
NO SQL:不包含SQL语句
READS SQL DATA:包含读取数据的语句，但不包含写入数据的语句
触发器
触发器是与表有关的数据库对象，指在insert/update/delete之前或之后，出发并执行触发器中定义的SQL语句集合。触发器的这种特性可以协助应用在数据库端确保数据的完成性，日志记录，数据校验等操作。
使用别名OLD和NEW来引用触发器中发生变化的记录内容，这与其他的数据库是相似的。现在触发器还只支持行级触发，不支持语句级触发
| 触发器类型 | NEW和OLD |
|---|---|
| INSERT型触发器 | NEW表示将要或已经新增的数据 |
| UPDATE型触发器 | OLD表示修改之前的数据，NEW表示将要或者已经修改后的数据 |
| DELETE型触发器 | OLD表示将要或者已经删除的数据 |
语法
# 创建
CREATE TRIGGER trigger_name;
BEFORE/AFTER INSERT/UPDATE/DELETE
ON tbl_name FOR EACH ROW -- 行级触发器
BEGIN
trigger_stmt;
END;
# 查看
SHOW TRIGGERS;
# 删除
DROP TRIGGER [schema_name.]trigger_name; -- 如果没有指定schema_name，默认为当前数据库
锁
锁是计算机协调多个进程或线程并发访问某一资源的限制。在数据库中，除传统的计算资源（CPU,RAM,I/O）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性，有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂
分类
MySQL中的锁，按照锁的粒度分，分为以下三类：
- 全局锁：锁定数据库中的所有表
- 表级锁：每次操作锁住整张表
- 行级锁：每次操作锁住对应的行数据。
全局锁
全局锁就是对整个数据库实例加锁，加锁后整个实例就处于只读状态，后续的DML语句，DDL语句，已经更新操作的事务提交语句都将被阻塞。
其典型的使用场景是做全库的逻辑备份，对所有的表进行锁定，从而获取一致性视，保证数据的完整性。
flush table with read lock;
mysqldump -uroot -p1234 123 > 123.sql
unlock tables;
特点：
数据库中加全局锁，是一个比较重的操作，存在以下问题
- 如果在主库上备份，那么在备份期间都不能执行更新，业务基本上就得停摆
- 如果在从库上备份，那么在备份期间从库不能执行主库同步过来的二进制操作（binlog），会导致主从延迟
在InnoDB引擎上，我们可以在备份时加上参数 – single-transaction参数来完成不加锁的一致性数据备份
表级锁
表级锁，每次操作锁住整张表。锁定粒度大，发生锁冲突的概率最高，并发度最低。
对于表级锁，主要分为以下三类：
- 表锁
- 元数据锁（meta data lock，MDL）
- 意向锁
表锁
对于表锁，分为两类
- 表共享读锁(read lock)
- 表独占写锁(write lock)
# 加锁
lock tables 表名... read/write;
# 释放锁
unlock tables / 客户端断开连接
读锁不会阻塞其他客户端的读，但是会阻塞写。写锁既会阻塞其他客户端的读，又会阻塞其他客户端的写。
元数据锁
MDL加锁过程是系统自动控制，无需显示使用，在访问一张表的时候会自动加上。MDL锁的主要作用是维护表元数据的数据一致性，在表上有活动事务的时候，不可以对元数据进行写入操作。为了避免DML与DDL冲突，保证读写的正确性。
在MySQL5.5中引入了MDL，当对一张表进行增删改查的时候，加MDL读锁（共享）；当对标结构进行变更操作的时候即，加MDL写锁（排他）
| 对应SQL | 锁类型 | 说明 |
|---|---|---|
| lock tables xxx read/write | SHRAED_READ_ONLY/SHARED_NO_READ_WRITE | |
| select/select … lock in share mode | SHREAD_READ | 与SHARED_READ,SHARED_WRITE兼容，与EXCLUSIVE互斥 |
| insert/update/delete/select … for update | SHARED_WRITE | 与SHARED_READ,SHARED_WRITE兼容，与EXCLUSIVE互斥 |
| alter table | EXCLUSIVE | 与其他的MDL都互斥 |
意向锁
为了避免DML在执行时，加的行锁与表锁的冲突，在InnoDB中引入了意向锁，使得表锁不用检查每行数据是否加锁，使用意向锁来减少表所的检查
- 意向共享锁（IS）：由语句select … lock in share mode添加，与表锁共享锁（read）兼容，与表锁排他锁（write）互斥
- 意向排他锁（IX）：由insert update,delete,select … for update添加。与表锁共享锁和表锁共享锁都互斥。意向锁之间不会互斥
可以通过以下SQL，查看意向锁以及行锁的加锁情况
select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data locks;
行级锁
行级锁，每次操作锁住对应的行数据。锁定粒度最小，发生锁冲突的概率最低，并发度最低。应用在InnoDB存储引擎中。
InnoDB的数据时基于索引组织的，行锁是通过对索引上的索引项加锁来实现的，而不是对记录加的锁。对于行级锁，主要分为以下三类
- 行锁（Record Lock）：锁定单个记录的锁，防止其他事务对此行进行update和delete。在RC和RR隔离级别下都支持
- 间隙锁（Gap Lock）：锁住索引记录的间隙（不含该记录），确保索引记录间隙不变，防止其他事务在这个间隙进行insert，产生幻读，在RR隔离级别下都支持
- 临键锁（Next-Key Lock）：行锁和间隙锁组合，同时锁住数据，并锁住数据前面的间隙Gap。在RR隔离级别下支持。
行锁
- 共享锁（S）：允许一个事务去读一行，组织其他事务获得相同数据集的排他锁
- 排他锁（X）：允许获取排他锁的事务更新数据，组织其他事务获得相同数据集的共享锁和排他锁。
| SQL | 行锁类型 | 说明 |
|---|---|---|
| INSERT… | 排他锁 | 自动加锁 |
| UPDATE… | 排他锁 | 自动加锁 |
| DELETE… | 排他锁 | 自动加锁 |
| SELECT（正常） | 不加任何锁 | |
| SELECT … LOCK IN SHARE MODE | 共享锁 | 需要手动在SELECT后加LOCK IN SHARE MODE |
| SELETE … FOR UPDATE | 排他锁 | 需要手动在SELECT后加FOR UPDATE |
| 默认情况下，InnoDB在REPEATABLE READ事务隔离级别运行，InnoDB使用next-key锁进行搜索和索引扫描，防止幻读 |
- 针对唯一索引进行检索时，对已存在的记录进行等值匹配时，将会自动优化为行锁
- InnoDB的行锁时针对于索引加的锁，不通过索引条件检索数据，那么InnoDB将对表中的所有记录加锁，此时就会升级为表锁
间隙锁/临界锁
默认情况下，InnoDB在REPEATABLE READ事务隔离级别运行，InnoDB使用next-key锁进行搜索和索引扫描，防止幻读
- 索引上的等值查询（唯一索引），给不存在的记录加锁时，优化为间隙锁
- 索引上的等值查询（普通索引），向右遍历时最后一个值不满足查询要求时，next-key lock退化为间隙锁
- 索引上的范围查询（唯一索引）-- 会访问到不满足条件的第一个值为止。
注
间隙锁的唯一目的是防止其他事务插入间隙。间隙锁可以共存，一个事务采用的间隙锁不会阻止另一个事务在同一间隙上采用间隙锁
InnoDB引擎
逻辑存储结构
架构
MySQL5.5版本开始，默认使用InnoDB引擎，他擅长事务处理，具有崩溃恢复特性，在日常开发中使用非常广泛、下面是InnoDB架构图，左侧为内存结构，右侧为磁盘结构
架构-内存结构
架构-磁盘结构
架构-后台线程
事务原理
事务是一组操作的集合，他是一个不可分割的工作单位，事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求，即这些操作要么同时成功，要么同时失败
特性（ACID）
- 原子性（Atomicity）：事务是不可分割的最小单元，要么全部成功，要么全部失败
- 一致性（Consistency）：事务完成时，必须使所有的数据都保持一致状态
- 隔离性（Isolation）：数据库系统提供的隔离机制，保证事务在不受外部并发操作影响的独立环境下运行
- 持久性（Durabibty）：事务一旦提交或回滚，他对数据库中的数据的改变就是永久的。
redo_log
重做日志，记录的是事务提交时数据页的物理修改，是用来实现事务的持久性
该日志文件由两部分组成：重做日志缓冲（redo log buffer）以及重做日志文件(rodo log file)，前者是在内存中，后者在磁盘中。当事务提交之后会把所有修改信息都存到该日志文件中，用于在刷新脏盘到磁盘，发生错误时，进行数据恢复用。
undo_log
回滚日志，用于记录数据被修改前的信息，作用包含两个：提供回滚和MVCC（多版本并发控制）。
undo log和redo log记录物理日志不一样，他是逻辑日志。可以认为当delete一条记录时，undo log中会记录一条对应的insert记录，反之亦然，当update一条记录时，它记录一条对应相反的update记录，当执行rollback时，就可以从undo log中的逻辑记录读取到相应的内容并进行回滚。
Undo log销毁：undo log在事务执行时产生，事务提交时，并不会立即删除undo log，因为这些日志可能还用于MVCC
Undo log存储：undo log采用段的方式进行管理和记录，存放在前面介绍的rollback segment回滚段中，内部包含1024个undo log segment
MVCC
基本概念
当前读：读取的时记录的最新版本，读取时还要保证其他并发事务不能修改当前记录，会对读取的记录进行加锁。对于我们日常的操作，如：select … lock in share mode（共享锁），select … for update,update,insert,delete（排他锁）都是一种当前读
快照读：简单的select（不加锁）就是快照读，快照读，读取的是记录数据的可见版本，有可能是历史数据，不加锁，是非阻塞读。
- Read Committed：每次Select，都生成一个快照读
- Repeatable Read：开启事务后第一个select语句才是快照读的地方
- Seralizable：快照读会退化为当前读
MVCC：全称Multi-Version Concurrency Control，多版本并发控制。指维护一个数据的多个版本，使得读写操作没有冲突，快照读为MySQL实现MVCC提供了一个非阻塞读功能。MVCC的具体实现，还需要依赖于数据库记录中的三个隐式字段，undo log日志，readView
实现原理
记录中的隐藏字段
| 隐藏字段 | 含义 |
|---|---|
| DB_TEX_ID | 最近修改事务ID，记录插入这条记录或最后一次修改该记录的事务ID |
| DB_ROLL_PTR | 回滚指针，指向这条记录的上一个版本，用于配合undo log，指向上一个版本 |
| DB_ROW_ID | 隐藏主键，如果表结构没有指定主键，将会生成该隐藏字段 |
| undo log | |
| 回滚日志，在insert，update，delete的时候产生的便于回滚数据的日志 | |
| 当insert的时候，产生的undo log日志只在回滚时需要，当事务提交后，可被立即删除 | |
| 而update，delete的时候，产生的undo log日志不仅在回滚时需要，在快照读的时候也需要，不会被立即删除 |
不同事务或相同事务对同一条记录进行修改，会导致该记录的undolog生成一条记录版本链表，链表的头部是最新的旧记录，链表尾部是最早的旧记录
readview
ReadView（读视图）是快照读SQL执行时MVCC提取数据的依据，记录并维护系统当前活跃的事务（未提交的）id。
ReadView中包含了四个核心字段：
| 字段 | 含义 |
|---|---|
| m_ids | 当前活跃的事务ID集合 |
| min_trx_id | 最小活跃事务ID |
| max_trx_id | 预分配事务ID，当前最大事务ID+1（因为事务ID是自增的） |
| creator_trx_id | ReadView创建者的事务ID |
不同的隔离级别，生成ReadView的时机不同
READ COMMITTED：在事务中每一次执行快照读时生成ReadView
REPEATABLE READ：仅在事务中第一次执行快照读时生成ReadView，后续复用该ReadView
在RC隔离级别下，在事务中每一次执行快照读时生成ReadView
在RR隔离级别下，仅在事务第一次执行快照读时生成ReadView，后续复用该ReadView
总结：
- 逻辑存储结构：表空间，段，区，页，行
- 架构：内存架构，磁盘架构
- 事务原理
- 原子性 - undo log
- 持久性 - redo log
- 一致性 - undo log + redo log
- 隔离性 - 锁 + MVCC
- MVCC;:记录隐藏字段，undo log版本连，readView
MySQL管理
Mysql数据库安装完成后，自带了以下四个数据库，具体作用如下：
| 数据库 | 含义 |
|---|---|
| mysql | 存储MySQL服务器正常运行所需要的各种信息（时区，主从，用户，权限等） |
| information_schema | 提供了访问数据库元数据的各种表和视图，包含数据库，表，字段类型以及访问权限等 |
| performance_schema | 为MySQL服务器运行时状态提供了一个底层监控功能，主要用户收集数据库服务器性能参数 |
| sys | 包含了一系列方便DBA和开发人员利用performance_schema性能数据库进行性能调优和诊断的视图 |
常用工具
mysql
指mysql的客户端工具
语法
mysql [options] [database]
选项:
-u,--user = name #指定用户名
-p,--password[=name] #指定密码
-h,--host=name #指定服务器IP或域名
-p,--port = port #指定连接端口
-e,--excute=name #执行SQL语句并退出
-e 选项可以在MySQL客户端执行SQL语句，而不用连接到MySQL数据库再执行，对于一些批处理脚本，这种方式尤其方便
mysql -uroot -p123456 db01 -e "select * from stu";
mysqladmin
mysqladmin是一个执行管理操作的客户端程序。可以用它来检查服务器的配置和当前状态，创建并删除数据等，通过帮助文档来查看选项
mysqlbinlog
由于服务器生成的二进制日志文件以二进制格式保存，所以如果想要检查这些文本的文本格式，就会使用到mysqlbinlog日志管理工具
语法：
mysqlbinlog [options] log-files1 log-files2
选项:
-d,--database=name 指定数据库名称，只列出指定的数据库相关操作
-o,--offset=# 忽略掉日志中的前n行命令
-r,--result-file=name 将输出的文本格式日志输出到指定文件
-s,--short-form 显示简单格式，省略掉一些信息
--start-datatime=date1 --stop-datetime=date2 指定日期间隔内的所有日志
--start-position=pos1 --stop-position=pos2 指定位置间隔内的所有日志
mysqlshow
mysqlshow客户端对象查找工具，用来很快的查找存在哪些数据库，数据库中的表，表中的列或索引
语法：
mysqlshow [options] [db_name[table_name[col_name]]]
选项
--count 显示数据库以及表的统计信息（数据库，表均可以不指定）
-i 显示指定数据库或者指定表的状态信息
229
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
